信息量与信息熵 |信道容量

 信源的熵：每个符号所含信息量的统计平均值 (符号理解为调制符号，QPSK每个符号信息量2bit，16QAM每个符号信息量4bit以此类推)

 离散信道容量：两种表示方式：

1.每个符号能够传输的平均信息量的最大值表示信道容量C;

2.单位时间（秒）内能够传输的平均信息量的最大值表示信道容量C;

收端收到一个符号时获得的平均信息量=H(x)-H(y/x)

H(y/x)是传输错误率引起的损失，若收到y就直接确定发了x，那收到y时x的信息量为-log2p(x/y)=0，则收到y获得的信息量=H(x)，表示没有信道传输损失，此时信源的熵最大，H乘上符号率，就是信道容量最大