我们接着之前猜谜游戏的例子来聊聊对称信道。想象一下你们换了堵新墙这堵墙的干扰有一个特点“一视同仁”。1. 什么是对称信道对称信道就是干扰非常公平、有规律的信道。它有两大特征特征一犯错的概率一视同仁之前非对称你想传“1”可能变成“2”的概率是30%变成“3”的概率是1%变成“4”的概率是1%出错的可能性乱七八糟。现在对称你想传“1”那么它变成其他任何一个数字的概率都是相等的。比如有10%的概率变成“2”10%的概率变成“3”10%的概率变成“4”。无论你发的是1、2、3还是4出错的规矩是一样的。特征二接收时的混淆一视同仁当朋友听到一声敲击时这声敲击是从其他各个数字错误地变过来的概率也是相等的。简单说就是信道在犯错时对所有的符号都一视同仁没有偏爱。最经典的例子二元对称信道如果你只发送“0”和“1”出错概率是 p那这就是最简单的对称信道发0有 p 的概率错成1有 1−p 的概率正确收到0。发1有 p 的概率错成0有 1−p 的概率正确收到1。两边出错规矩完全一样非常对称。2. 对称信道的容量有什么特别因为对称信道这种“公平”的特性它的信道容量计算有一个极简的公式而且理解起来非常直观。公式如下Clog⁡2(∣符号集大小∣)−H(错误概率)用我们的敲墙游戏有4个数字来解释符号集大小就是你有多少种选择。这里是 412, 3, 4。 log⁡2(4)2。这代表如果没有干扰你每敲一次墙本来能传递的信息量2比特。H(错误概率)H(错误概率)这代表因为干扰而损失掉的信息量。它只和错误概率有关和你发的是哪个数字无关因为对称。通俗理解公式信道容量本来能传的信息——干扰搞丢的信息信道容量本来能传的信息——干扰搞丢的信息3. 回到猜谜游戏假设还是那堵墙4个数字1-4每次敲击有20%的概率出错而且一旦出错变成其他三个数字的概率相等各1/3。理想情况无干扰你敲一次墙朋友能完全确定是哪个数字。信息量 log⁡2(4)2 比特。实际情况有干扰因为有20%的概率会错朋友听到敲击后心里会有点嘀咕。这嘀咕的不确定性就是损失掉的信息。最终容量用公式 C2−H(0.2)。H(0.2) 算出来大概是0.72。所以C2−0.721.28 比特/次。这意味着在这堵公平的“对称墙”上尽管你每次敲击理论上能传2比特但因为干扰你最多只能可靠地传递1.28比特的信息。如果你试图传得比1.28比特还快比如每次敲击都试图表达2比特的信息朋友就一定会开始猜错。总结对称信道容量的两个要点计算简单不用考虑复杂的输入分布公式简洁明了。因为对称输入符号用等概率发送通常就能达到容量。物理意义清晰可以看作是总能力减去干扰损失非常符合直觉。框图逻辑解读左侧回顾先对比了之前讲的一般信道强调其干扰的不均衡性和计算的复杂性。核心特征对称信道的核心是“一视同仁”包括行对称发送端看干扰和列对称接收端看混淆。容量公式第一部分log2​(符号数) 代表信道的总带宽能力。第二部分H(错误概率)H(错误概率) 代表噪声吃掉的能力。结果两者相减就是你能实际使用的净上限。优势总结因为对称所以计算简单、输入策略简单等概率就行、理解起来也直观。