狗日的熵

https://blog.csdn.net/bobo_jiang/article/details/78473332

熵是随机变量的一个属性，如同平均值是随机变量一个属性一样

熵是随机变量不确定度的度量

一方面熵越大混乱程度越大，另一方面信息熵越大信息量越大

https://www.zhihu.com/question/274997106

其中 是相空间，x是相空间中的态。可以看出，熵这个概念是在统计系宗的意义上定义的，而不是在某一个态上定义的。假如你给我一个01001001的tape问我这个tape熵有多大，或者塞给我一块硬盘问我这个硬盘熵有多大，我无法回答你，你必须告诉我所有可能的态的概率分布我才能告诉你这个系统的熵有多大。

这样，首先我们先来理解为什么熵越大混乱程度越大。这个很容易理解，举一个极端的例子，如果相空间所有态中只有一个态的概率是1，其它态概率都是0，那这个系统的熵是0，完全没有混乱度，系统只能取这个态。反之，什么时候熵最大呢？当所有态概率相等的时候最大，这个时候系统对取什么态没有偏向性，所以混乱度最大。

作者：Max Snow
链接：https://www.zhihu.com/question/274997106/answer/429408154
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。