信息度量

离散信息度量

首先肯定是经典的各种符号约定,顺遍让我复习一哈LateX语法…

事件集合X中 $x=a_i$ 的自信息

$I_x(a_i)=-logP_x(a_i)$

$I(x)=-logp(x)$

底数可变

自信息的含义即

事件发生前的不确定性

事件发生后事件包含的信息量

联合自信息

即一些事件看作一个联合事件后计算自信息，概率为联合概率

$I_{XY}(a_i,b_j)=-logP_{XY}(a_i,b_j)$

$I(xy)=-logp(xy)$

$xy$ 视为一联合事件

条件自信息

即给定一些事件后，发生其他事件的自信息

$I_{x|y}(a_i,b_j)=-logP_{X|Y}(a_i,b_j)$

$I(x|y)=-logp(x|y)$

因此有：

$I(xy)=I(x)+I(y|x)=I(y)+I(x|y)$

综上

$I_{x;y}(a_i;b_j)=log\frac{P_{X/Y}(a_i|b_j)}{P_X(a_i)}$

$I(x;y)=I(x)-I(x|y)$ // $x$ 本身的不确定性减去由 $y$ 确定的 $x$ 的不确定性

$I(x;y)=I(y;x)$

离散信源X的熵定义位自信息的平均值，记为H(X)

$H(X)=E[I(x)]$

单位：比特/符号

表现一个信源的平均不确定性/平均信息量、 $H(x)$ 大的随机性大、输出后解除信息不确定行需要的信息量。

条件熵

联合集 $XY$ 上，条件自信息 $I(y|x)$ 均值

$H(Y|X)=E[I(y|x)]=\sum_{x}{p(x)H(Y|X=x)}$

联合熵

联合集 $XY$ 上，条件自信息 $I(xy)$ 均值

$H(XY)=E[U(xy)]=-\sum_x\sum_yp(xy)logp(xy)$

相对熵——信息散度

没懂。

不等式： $1-\frac{1}{x}\leq lnx \leq x-1$

熵的不增原理——条件熵不大于信息熵

$H(Y|X)\leq H(Y)$

熵的链原则： $H(X_1X_2..X_N)=H(X_1)+H(X_2|X_1)+...H(X_N|X_1..X_{N-1})$

$集合Y与事件x=a_i间的互信息$

$I(x;Y)=\sum_xp(x)I(x;Y)$

$=\sum_{x,y}p(x)p(y|x)log\frac{p(y|x)}{p(y)}$

因此

$集合X、Y间平均互信息$

$I(X;Y)=\sum_xp(x)I(x;Y)$

含义
- 知道集合 $Y$ 后，平均Y中一个事件消除掉的关于集合 $X$ 中一个事件的不确定性
- 集合 $Y$ 中一个事件平均能提供出的关于集合 $X$ 中一事件的信息量
- 两个集合关系密切程度
平均互信息与熵
- $I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)$
性质
- 非负性
- 互易性
- 凸函数性：为 $p(x)$ 上凸函数