一般情况、离散、固定均值、固定方差下的最大熵分布以及证明
拉格朗日乘子法：一般情况
离散情况：均匀分布
离散情况下的最大熵值为\(\log k\)
固定均值
固定方差
固定协方差
ref
- Princeton Lecture 8: Information Theory and Maximum Entropy
- 信息论基础
- https://stats.stackexchange.com/questions/404097/proving-that-shannon-entropy-is-maximised-for-the-uniform-distribution