1.信息熵

\(对于信息内容的度量依赖于概率分布p(x)，我们想要找到这么一个函数h(x)，要满足\)
\(1.它是概率p(x)的单调递增函数\)
\(2.如果我们有两个不相关的事件x和y,我们观察到两个事件同时发?时获得的信息应该等于观察到事件各?发?时获得的信息之和，即h(x, y) = h(x) + h(y),两个不相关事件是统计独?的，因此p(x, y) = p(x)p(y)\)
\(所以能看出h(x)一定与p(x)的对数有关,我们所以有\)
\(h(x)=-log_2p(x)\) --1.92
\(底数不一定是2，只是按照传统信息论，取，则h(x)的单位是\)bite(bit,binary digit)
\(现在假设?个发送者想传输?个随机变量的值给接收者。这个过程中，他们传输的平均信息量通可以通过求公式（1.92）关于概率分布p(x)的期望得到。这个期望值为\)
\(\color{red}{H[x]=-\sum\limits_xp(x)log_2p(x)}\) --1.93
\(这就是熵\)entropy
\(如果ln 自然对数为底，则熵的单位是nat\)

2.离散变量下的熵的最大值

熵是信息的度量单位，熵越大信息越混乱，越没有意义，传递也越为困难，代价越大
\(可以证明(拉格朗日乘子法)当所有的p(x_i)都相等，且值为p(x_i) = \frac{1}{M} 时，熵取得最?值,M是状态x_i的总数\)
\(即均匀分布下的熵最大，因为最为混乱，没有意义\)

3.连续变量的熵

连续变量的熵称为微分熵

4.连续变量的熵的最大值

\(最大化微分熵需要遵循下面三个限制\)

通过拉格朗日乘子法，解得

\(\color{red}{因此最大化微分熵的分布是高斯分布}\)

5.高斯分布的微分熵

$因熵随着分布宽度(\sigma^2的增加而增加)$ $这个结果也表明，与离散熵不同，微分熵是可以为负的$ $对于高斯分布的微分熵(1.110),当\sigma^2 < \frac{1}{2\pi e}时,H(x)<0$

6.条件熵

\(假设我们有?个联合概率分布p(x, y)。我们从这个概率分布中抽取了?对x和y。如果x的值已知，那么需要确定对应的y值所需的附加的信息就是- ln p(y | x)。因此，?来确定y值的平均附加信息可以写成\)

\(这被称为给定x的情况下，y的条件熵。使?乘积规则，很容易看出，条件熵满?下?的关系\)

\(其中，H[x, y]是p(x, y)的微分熵\color{red}{(注意这里的说法，H是某个分布p的XX熵)}，H[x]是边缘分布p(x)的微分熵。因此，描述x和y所需的信息是描述x??所需的信息，加上给定x的情况下具体化y所需的\color{red}{额外信息}。\)