信息的度量-信息量

chenaijun

通信系统的功能就是进行信息传输，将信息由信源传输到信宿。

如何对信息进行度量呢？

信息量是量度信息多少的一个物理量。它从量上反映具有确定概率的消息发出时所传递的信息。

根据我们的日常体验：

1）消息的发送概率越低，发送该消息的不确定性越大，一旦消息发出所传递的信息量就越多。

2）消息的发送概率越高，发送该消息的不确定性越小，消息发出后所传递的信息量就越少。

3）如果消息的发送概率是100%，发送该消息的不确定性为0，消息发送所传递的信息量也就为0。