形式化假说非决定论不确定性

通讯中的数学理论

1948 年, 美国科学家仙农 (Shannon) 发表了著名论文“通讯中的数学理论”, 跨出了用数学方法定量描述信息的关键一步。
主要涉及三个方面：形式化假说、非决定论、不确定性

形式化假说

形式化假说是指将信息的传递视为一个统计现象，并用概率论和随机过程作为研究工具。

香农通过抽象化的方法，将信息的语义和语用因素搁置，专注于信息的形式因素，使得信息的度量和数学描述成为可能。 这种假设允许忽略信息的具体含义和用途，而专注于信息的传输和处理。

这里涉及到两个概念：语义因素和语用因素

• 语义因素指的是信息所传达的意义或内容。它涉及到信息的内在含义，即信息所表达的概念、思想或知识。在人类交流中，语义是信息被理解的关键部分，因为它关联到信息接收者对信息的解释和理 解。例如，一个句子的语义是指这个句子所传达的具体意义，这通常依赖于语言规则和上下文。

• 语用因素关注的是信息在特定情境中的使用和效果。它涉及到信息的实用性，即信息如何被用来在特定的交流环境中实现特定的目标。语用学研究的是信息的发送者和接收者如何根据语境、意图和 社会文化背景来解释信息。例如，同样的句子在不同的语境中可能 有不同的语用效果。

非决定论

仙农指出:“通讯过程中传递的消息, 总是从可能发生的消息对象集合中选择出来的。因此, 通讯系统应该针对每一个选择的消息对象都能工作, 而不是局限于某些特定的消息对象”。什么时间发送什 么消息对象, 通讯过程中遇到什么样的干扰和噪音, 都是随机发生的。

通信过程应该是以概率论为基本数学工具表述的对象，以概率的方法给出的信息的度量是非决定论的核心要素。

不确定性

通信就是完全消除或部分消除不确定性。通信者得到的信息量就是通信前的不确定性和通信后仍然存在的不确定性的差。
如果假设通讯过程没有任何噪音和干扰, 那么通讯者通过通讯得到 的信息量应该恰好等于通讯前所选择的传送消息的不确定性。
而不确定性自然和概率相关, 因而不确定性应该是概率的一个函数。 比如: 通讯过程要完成一个所选择的字符的传递, 那么该字符所含的不确定性就是该字符发生的先验概率的函数。从而可以引出信息量的概念。

信息量

更一般地, 任何一个随机事件发生的概率如果为 p, 那么它所含的信息量应该是 p 的一个函数。这个函数衡量了上述随机事件所包含的不确 定性, 我们可以把这个函数记作$I(p)$, 这是仙农对信息量度量的本质刻画。

假设通讯过程没有任何干扰和噪音, 这时发送者把概率 $p=1$ 的必然事件 (或消息) 发送给接收者, 则这种通讯毫无意义, 即$I(1)=0$

而随着 p 的减少, 接收者会从通讯过程中得到的信息量越来越大, 或者说,$I(p)$是 p 的递减且连续的函数

如果发送者发送的事件的先验概率满足 $p\to 0$, 则接收者收到这样的事件发生的消息后, 会无比震惊, 甚至不敢相信, 从而在数学上可归纳为$li{m}_{p\to 0}I(p)=\infty$;

如果两个随机事件是相互独立的, 那么它们的联合事件包含的信息 量应该等于各自包含的信息量之和。即如果两个独立事件发生的概率分别为$p_1$ 和$p_2$ 时,则有:
$$I(p_1{p}_2)=I(p_1)+I(p_2)$$

函数 $I(p)$ 在相差一个非零倍数的前提下唯一确定, 且$$I(p)=log\frac{1}{p}$$

上述定理中的信息度量函数$I(p)$的表达式中, 如果对数函数的底是 2, 信息量的单位称作比特; 如果对数函数的底取成自然底数 e 的话, 信息量的单位称作奈特。在利用函数 $I(p)$ 时, 可根据实际情况选择信息量的单位。