尧图网页设计 
1. 从“对称”这个特性说起为什么它能让信道容量计算变简单在信息论和通信工程里计算一个信道的容量很多时候是个让人头疼的数学优化问题。你得在无穷无尽的输入概率分布里找到一个能让互信息最大化的那个“最优解”。这个过程往往需要复杂的迭代算法比如Blahut-Arimoto算法计算量大不说还不一定能保证收敛到全局最优。但有一种特殊的信道它的存在就像数学世界里的“模范生”让这个复杂问题瞬间变得清晰可解——这就是具有对称性的信道。对称性在这里不是指图形好看而是指信道转移概率矩阵具有某种数学上的“整齐”结构。最常见的两种是对称信道和弱对称信道。简单来说对称信道意味着对于任意一个输入符号所有输出符号的转移概率集合是完全一样的只是顺序可能不同而弱对称信道则要求所有行的概率集合相同并且所有列的和也相等。这种“整齐划一”的特性直接带来了一个巨大的好处达到信道容量的输入分布是均匀分布。这个结论不是凭空猜的而是有严格的数学证明作为支撑。它背后的直觉是因为信道对每个输入符号都“一视同仁”从转移概率的统计特性上看那么你作为发送端最公平、最不偏袒任何一方的策略就是给每个输入符号以相等的发送概率。这样一来最大化互信息的问题就从在概率分布的汪洋大海里寻宝简化成了在已知均匀输入分布下直接计算一个确定的互信息值。计算量从指数级下降到了多项式级甚至可以直接手算。所以当你遇到一个信道并且怀疑它可能有对称性时你手里就握有一把“万能钥匙”。接下来的任务就是学会如何识别它并熟练运用这套简化的计算方法。这不仅是考试的重点更是实际工程中快速评估信道性能的利器。2. 对称信道与弱对称信道的数学定义与识别要使用简化方法第一步必须是准确识别信道类型。我们得从严格的数学定义入手避免凭感觉误判。2.1 离散无记忆信道的矩阵表示首先我们有一个离散无记忆信道输入符号集 $X {x_1, x_2, ..., x_J}$输出符号集 $Y {y_1, y_2, ..., y_K}$。这个信道完全由它的信道转移概率矩阵$\mathbf{P}$ 所描述$$ \mathbf{P} \begin{bmatrix} p(y_1 | x_1) p(y_2 | x_1) \cdots p(y_K | x_1) \ p(y_1 | x_2) p(y_2 | x_2) \cdots p(y_K | x_2) \ \vdots \vdots \ddots \vdots \ p(y_1 | x_J) p(y_2 | x_J) \cdots p(y_K | x_J) \end{bmatrix} $$矩阵的每一行对应一个输入符号每一列对应一个输出符号。元素 $p(y_k | x_j)$ 表示在发送 $x_j$ 的条件下接收到 $y_k$ 的概率。2.2 对称信道的定义一个信道是对称信道当且仅当它的转移概率矩阵 $\mathbf{P}$ 满足以下两个条件行可重排性矩阵的每一行都是其他某一行的置换。也就是说每一行包含的数值集合完全相同只是这些数值排列的顺序不一样。列可重排性矩阵的每一列都是其他某一列的置换。也就是说每一列包含的数值集合也完全相同。一个更直观的等价定义是存在一个排列集合行的排列和列的排列使得矩阵 $\mathbf{P}$ 中所有行的和相等所有列的和也相等并且矩阵中所有元素都出现在每一行和每一列中以某种排列形式。经典例子二进制对称信道输入 $X \in {0, 1}$输出 $Y \in {0, 1}$误码率为 $p$。 转移矩阵为 $$ \mathbf{P} \begin{bmatrix} 1-p p \ p 1-p \end{bmatrix} $$第一行是 $(1-p, p)$第二行是 $(p, 1-p)$第二行是第一行的置换交换了两个元素。第一列是 $(1-p, p)$第二列是 $(p, 1-p)$第二列是第一列的置换。 因此BSC是典型的对称信道。2.3 弱对称信道的定义弱对称信道的条件比对称信道宽松一些。一个信道是弱对称信道当且仅当它的转移概率矩阵 $\mathbf{P}$ 满足行可重排性矩阵的每一行都是其他某一行的置换即所有行由同一组数值构成。列和相等矩阵每一列的所有元素之和相等。即对于任意输出符号 $y_k$有 $\sum_{j1}^{J} p(y_k | x_j) \text{常数}$。注意弱对称信道不要求列可重排。这意味着虽然每一行内部的概率分布形状一样但这些分布在不同列上的“对齐方式”可以不同只要每一列的“总权重”一样。经典例子删除信道考虑一个三进制删除信道输入 $X \in {0, 1, 2}$输出 $Y \in {0, 1, 2, E}$其中 $E$ 表示删除。假设正确接收概率为 $1-\alpha$被删除概率为 $\alpha$且删除后不提供任何原符号信息。 转移矩阵可能如下一种可能情况 $$ \mathbf{P} \begin{bmatrix} 1-\alpha 0 0 \alpha \ 0 1-\alpha 0 \alpha \ 0 0 1-\alpha \alpha \end{bmatrix} $$检查行每一行都是 $(1-\alpha, 0, 0, \alpha)$ 的某种置换吗第一行是 $(1-\alpha, 0, 0, \alpha)$第二行是 $(0, 1-\alpha, 0, \alpha)$第三行是 $(0, 0, 1-\alpha, \alpha)$。虽然都有两个0、一个$1-\alpha$和一个$\alpha$但$1-\alpha$的位置不同。严格来说这不是行的简单置换因为数值“0”出现了多次而置换要求的是数值集合的完全一致。实际上这个信道通常被认为是弱对称的但需要更严谨地看待“行的置换”定义。在信息论中对于这种“行内元素集合相同但多次出现的元素如0在行内视为不可区分的”情况通常也归入弱对称的范畴。更精确地说所有行具有相同的熵 $H(Y|Xx_j)$。检查列和第一列和 $(1-\alpha)001-\alpha$第二列和 $0(1-\alpha)01-\alpha$第三列和 $00(1-\alpha)1-\alpha$第四列和 $\alpha\alpha\alpha3\alpha$。列和不全相等因此它不满足弱对称信道的第二个条件所有列和相等。所以这个常见的删除信道模型不是弱对称信道。这是一个重要的辨析点很多初学者会在这里犯错。一个真正的弱对称信道例子考虑一个2输入3输出的信道 $$ \mathbf{P} \begin{bmatrix} 0.5 0.3 0.2 \ 0.2 0.5 0.3 \end{bmatrix} $$行第一行 $(0.5, 0.3, 0.2)$第二行 $(0.2, 0.5, 0.3)$。第二行是第一行的一个循环移位置换行集合相同。列和第一列 $0.50.20.7$第二列 $0.30.50.8$第三列 $0.20.30.5$。列和不相等所以这也不是弱对称信道。看来构造一个非平凡又满足严格定义的弱对称信道例子需要一些技巧。一个满足条件的简单弱对称信道例子2输入2输出但非对称 $$ \mathbf{P} \begin{bmatrix} 0.8 0.2 \ 0.2 0.8 \end{bmatrix} $$ 等等这个就是BSC它是对称信道自然也是弱对称信道。要找一个不是对称信道但是弱对称信道的例子可以考虑 $$ \mathbf{P} \begin{bmatrix} 0.7 0.2 0.1 \ 0.1 0.7 0.2 \ 0.2 0.1 0.7 \end{bmatrix} $$行每一行都是 $(0.7, 0.2, 0.1)$ 的循环置换满足条件。列和第一列 $0.70.10.21.0$第二列 $0.20.70.11.0$第三列 $0.10.20.71.0$相等。 所以这是一个3x3的弱对称信道它同时也是对称的吗检查列第一列$(0.7,0.1,0.2)$第二列$(0.2,0.7,0.1)$第三列$(0.1,0.2,0.7)$每一列也是同一组数的置换所以它实际上是一个对称信道。注意识别对称性时最容易出错的就是“行的置换”这一条。当一行中有重复元素时比如多个0要判断两行是否是置换需要看它们包含的数值的多重集合是否完全相同。例如行A: (0.5, 0.3, 0.2) 和行B: (0.2, 0.5, 0.3) 是置换。行A: (0.4, 0.4, 0.2) 和行B: (0.4, 0.2, 0.4) 也是置换。但行A: (0.5, 0.3, 0.2) 和行B: (0.5, 0.2, 0.2, 0.1) 就不是置换因为元素集合不同。3. 信道容量简化计算公式的推导与应用一旦我们确认信道具有对称性或弱对称性就可以使用强大的简化公式。这个公式的核心思想是均匀输入分布 $p(x_j) 1/J$ 是达到信道容量的最优分布。3.1 公式推导的直观理解为什么均匀分布最优我们可以从互信息 $I(X;Y)$ 的表达式和对称性带来的性质来理解。互信息 $I(X;Y) H(Y) - H(Y|X)$。$H(Y|X)$ 是条件熵。在对称/弱对称信道中由于每一行的概率集合相同那么对于每一个输入 $x_j$条件分布 $p(Y|Xx_j)$ 的熵都是相同的记作 $H(Y|Xx_j) H_{row}$。因此条件熵 $H(Y|X) \sum_j p(x_j) H(Y|Xx_j) H_{row} \sum_j p(x_j) H_{row}$。条件熵与输入分布无关成了一个常数。于是最大化互信息 $I(X;Y)$ 就等价于最大化输出熵 $H(Y)$。现在看 $H(Y)$。输出 $Y$ 的分布为 $p(y_k) \sum_{j1}^{J} p(x_j) p(y_k | x_j)$。在弱对称信道中有一个关键性质当输入是均匀分布时输出也是均匀分布。因为根据定义每一列的和相等设其为 $c$那么 $p(y_k) \sum_j (1/J) * p(y_k|x_j) (1/J) * \sum_j p(y_k|x_j) (1/J) * c$这是一个与 $k$ 无关的常数所以所有 $p(y_k)$ 相等即输出均匀分布。均匀分布是离散随机变量中熵最大的分布在取值个数固定的情况下。因此均匀输入分布同时做到了1) 使条件熵最小固定为常数 $H_{row}$2) 使输出熵最大达到其最大值 $\log K$其中 $K$ 是输出符号数。从而使得互信息达到最大。对于对称信道证明类似并且由于列也是置换性质更好。3.2 容量计算公式基于以上推导我们得到对于弱对称信道其信道容量 $C$ 为$$ C \log_2 K - H_{row} $$其中$K$ 是输出符号集 $Y$ 的大小即信道矩阵的列数。$H_{row}$ 是信道矩阵中任意一行的熵因为所有行熵相等。计算 $H_{row}$ 时使用以2为底的对数单位是比特/信道使用。$\log_2 K$ 是输出符号集在均匀分布下的最大熵。对于对称信道公式同样适用。因为对称信道是弱对称信道的子集。二进制对称信道BSC容量计算示例 BSC的转移矩阵为 $\begin{bmatrix} 1-p p \ p 1-p \end{bmatrix}$。输出符号数 $K2$所以 $\log_2 K \log_2 2 1$ 比特。任取一行例如第一行 $(1-p, p)$其熵 $H_{row} -[(1-p)\log_2(1-p) p\log_2 p]$这就是著名的二元熵函数 $H_b(p)$。因此BSC容量 $C 1 - H_b(p)$。当 $p0$ 或 $p1$ 时$C1$ 比特当 $p0.5$ 时$C0$ 比特。这个公式完美刻画了误码率对信道极限速率的损害。3x3弱对称信道示例计算 沿用上一节的例子$\mathbf{P} \begin{bmatrix} 0.7 0.2 0.1 \ 0.1 0.7 0.2 \ 0.2 0.1 0.7 \end{bmatrix}$。输出符号数 $K3$$\log_2 3 \approx 1.585$ 比特。计算任一行的熵取第一行 $(0.7, 0.2, 0.1)$ $H_{row} -[0.7\log_2 0.7 0.2\log_2 0.2 0.1\log_2 0.1]$ 计算各项 $0.7\log_2 0.7 \approx 0.7 \times (-0.5146) -0.3602$ $0.2\log_2 0.2 \approx 0.2 \times (-2.3219) -0.4644$ $0.1\log_2 0.1 \approx 0.1 \times (-3.3219) -0.3322$ 所以 $H_{row} -[-0.3602 -0.4644 -0.3322] 1.1568$ 比特。信道容量 $C \approx 1.585 - 1.1568 0.4282$ 比特/信道使用。这个计算过程比使用Blahut-Arimoto算法迭代求解要简单直接得多。3.3 公式的适用边界与注意事项虽然这个公式非常强大但应用时必须严格检查前提条件。必须首先验证对称性这是最常出错的地方。不要看到矩阵有点“整齐”就想当然。必须逐一检查“行可重排”和“列和相等”对于弱对称这两个条件。一个常见的错误是混淆“行和相等”与“列和相等”。行和永远等于1因为每行是一个概率分布这没有意义。关键是列和相等。输出符号集的大小 $K$公式中的 $\log_2 K$ 来源于输出均匀分布的熵。这隐含了一个假设在均匀输入下每一个输出符号的概率都大于0。如果信道矩阵有全零列即某个输出符号永远不可能出现那么这个输出符号实际上不应该被计入 $K$。理论上$K$ 应该是在最优输入分布下具有正概率的输出符号的个数。在对称/弱对称信道且均匀输入下如果存在全零列意味着该列和为零这与“列和相等”矛盾除非所有列和都为零这不可能。因此对于严格满足定义的弱对称信道不会出现全零列。但在近似分析或构造例子时要小心。输入分布均匀性的再确认公式基于“均匀输入分布最优”的结论。对于弱对称信道这个结论是成立的。但对于一些更广义的“对称”结构如准对称信道最优输入分布可能仍然是均匀的但容量公式可能需要分组计算。这超出了基本弱对称信道的范围。单位一致性确保 $\log$ 的底数一致。在信息论中通常使用以2为底的对数结果单位是“比特”。如果使用自然对数单位是“奈特”。公式 $C \log K - H_{row}$ 中的 $\log$ 必须使用相同的底数。4. 超越标准定义准对称信道及其容量计算在实际问题中我们有时会遇到一种“几乎”对称但又不符合严格弱对称定义的信道。例如行是置换的但列和并不完全相等。这时我们可以将其划分为几个“块”使得每个块内部是对称的这就是准对称信道。4.1 准对称信道的定义一个信道是准对称的如果我们可以将其输出符号集 $Y$ 划分成若干个互不相交的子集称为“对称子集”满足对于每一个子集信道矩阵中对应于该子集输出的那些列构成的子矩阵是一个弱对称信道。更直观地说整个信道矩阵可以按列分块每个列块对应的子矩阵其自身满足行可重排并且该子矩阵的列和在这个子矩阵内部看是相等的。注意不同子块之间的列和可以不相等。这是它与弱对称信道的关键区别。4.2 准对称信道的容量计算思路对于准对称信道最优输入分布仍然是均匀分布。这一点非常有用。证明思路类似于弱对称信道但需要更细致的分析。由于每个对称子块内部具有一致性均匀输入分布能使每个子块内部的输出分布是均匀的从而在约束条件下最大化总输出熵。容量计算公式变为 $$ C \sum_{s1}^{S} \alpha_s \log_2 \frac{\alpha_s}{\beta_s} $$ 其中$S$ 是划分出的对称子块的个数。$\alpha_s$ 是在均匀输入分布下输出落在第 $s$ 个子块的总概率。$\beta_s$ 是第 $s$ 个子块中任意一行在该子块上的概率和因为行可重排所以这个和对于所有行是相同的。这个公式的推导涉及到将互信息分解到各个子块并利用拉格朗日乘数法求解。对于使用者来说可以将其作为一个计算模板。4.3 准对称信道计算实例考虑一个信道输入为{0,1}输出为{0,1,2}转移矩阵如下 $$ \mathbf{P} \begin{bmatrix} 0.6 0.3 0.1 \ 0.3 0.1 0.6 \end{bmatrix} $$检查对称性行第一行(0.6, 0.3, 0.1)第二行(0.3, 0.1, 0.6)。第二行是第一行的置换吗(0.6, 0.3, 0.1) 和 (0.3, 0.1, 0.6) 包含的数值集合都是 {0.6, 0.3, 0.1}所以是置换。满足行可重排。列和第一列 0.60.30.9第二列 0.30.10.4第三列 0.10.60.7。列和不相等因此不是弱对称信道。尝试划分对称子集 观察矩阵看哪些列可以组成一个“子块”使得在这个子块内列和相等。如果我们把第1列和第3列作为一个子块子矩阵为 $\begin{bmatrix} 0.6 0.1 \ 0.3 0.6 \end{bmatrix}$。检查这个子块行第一行(0.6, 0.1)第二行(0.3, 0.6)。数值集合不同{0.6,0.1} vs {0.3,0.6}不是置换。不行。如果我们把第1列单独作为子块1第2列和第3列作为子块2。子块1只有一列 $\begin{bmatrix}0.6 \ 0.3\end{bmatrix}$。单列矩阵行集合是{0.6, 0.3}不是置换因为只有一列谈不上置换但可以视为退化的对称块需要谨慎。列和就是它自己0.9。子块2包含第2、3列子矩阵 $\begin{bmatrix}0.3 0.1 \ 0.1 0.6\end{bmatrix}$。行第一行(0.3, 0.1)第二行(0.1, 0.6)。数值集合不同不是置换。 这个划分失败了。实际上对于这个矩阵正确的划分是无法划分成两个或以上的对称子块但它本身也不是弱对称的。所以它可能不是准对称信道。我们需要重新找一个例子。一个标准的准对称信道例子 输入{0,1}输出{0,1,2,3}转移矩阵 $$ \mathbf{P} \begin{bmatrix} 0.4 0.3 0.2 0.1 \ 0.1 0.2 0.3 0.4 \end{bmatrix} $$检查行是置换{0.4,0.3,0.2,0.1}列和0.5, 0.5, 0.5, 0.5。列和相等所以这其实是一个弱对称信道因为只有两行行置换且列和相等。直接用弱对称公式即可$K4$, $\log_2 42$, $H_{row} H(0.4,0.3,0.2,0.1) \approx 1.846$比特$C \approx 0.154$比特。这个例子不典型。构造一个真正的准对称信道例子 考虑一个3输入4输出的信道 $$ \mathbf{P} \begin{bmatrix} 0.3 0.2 0.4 0.1 \ 0.4 0.1 0.3 0.2 \ 0.2 0.3 0.1 0.4 \end{bmatrix} $$检查整体弱对称性行每一行都是{0.3, 0.2, 0.4, 0.1}的置换满足。列和第一列0.30.40.20.9第二列0.20.10.30.6第三列0.40.30.10.8第四列0.10.20.40.7。不相等。所以不是弱对称。尝试划分对称子集 观察列尝试将列1和列3分为一组子集A列2和列4分为另一组子集B。子集A列1,3对应的子矩阵 $\begin{bmatrix}0.3 0.4 \ 0.4 0.3 \ 0.2 0.1\end{bmatrix}$ 检查行第一行(0.3,0.4)第二行(0.4,0.3)是置换第三行(0.2,0.1)与前两行数值集合不同。失败因为第三行破坏了“所有行是置换”的条件。这说明划分必须保证在同一个子集内所有行在该子集上的概率向量是置换。仔细观察原矩阵发现一个规律每一行都是四个数(0.3,0.2,0.4,0.1)的排列。但列和不同。有没有一种划分使得在每个子块内行向量是置换呢假设我们划分列索引为子集1: {1,4}子集2: {2,3}。子集1列1,4子矩阵$\begin{bmatrix}0.3 0.1 \ 0.4 0.2 \ 0.2 0.4\end{bmatrix}$ 行1: (0.3,0.1), 行2: (0.4,0.2), 行3: (0.2,0.4)。这三个向量的数值集合都不同不是置换。子集2列2,3子矩阵$\begin{bmatrix}0.2 0.4 \ 0.1 0.3 \ 0.3 0.1\end{bmatrix}$ 同样行向量不是置换。看来这个矩阵可能也不是准对称的。构造一个干净的例子需要精心设计。一个经典的准对称信道例子是二元删除信道的某种变体或者将BSC的输出再分组。一个可行的准对称信道例子通过分组BSC输出 考虑一个信道它由两个并行的、错误概率不同的BSC组成但输出被合并观察。这样构造比较复杂。为了教学清晰我们采用一个教科书常见例子 输入{0,1}输出{0,1,2}转移矩阵 $$ \mathbf{P} \begin{bmatrix} 0.8 0.1 0.1 \ 0.1 0.1 0.8 \end{bmatrix} $$检查整体弱对称行是置换({0.8,0.1,0.1})列和0.9, 0.2, 0.9。不相等。划分对称子集注意到第1列和第3列的和都是0.9第2列和是0.2。观察子矩阵取列1和列3作为子集A$\begin{bmatrix}0.8 0.1 \ 0.1 0.8\end{bmatrix}$。这个子矩阵的两行(0.8,0.1)和(0.1,0.8)是置换且在这个2x2子矩阵内列和分别为0.9和0.9相等。所以子集A自身构成一个对称信道实际上是BSC的某种形式。取列2单独作为子集B$\begin{bmatrix}0.1 \ 0.1\end{bmatrix}$。这是一个单列矩阵所有行在此列的值相同都是0.1可以视为退化的对称块。验证准对称性我们将输出符号集Y划分成了两个子集$Y_1 {0, 2}$ 和 $Y_2 {1}$。对于$Y_1$对应的子矩阵它是一个对称信道。对于$Y_2$对应的单列也满足“行可重排”因为值都相同。因此这个信道是准对称信道。计算容量最优输入分布均匀分布$p(0)p(1)0.5$。计算参数子集A ($Y_1$):$\alpha_A$: 在均匀输入下输出落在$Y_1$的概率。$p(Y0) 0.50.8 0.50.1 0.45$ $p(Y2) 0.50.1 0.50.8 0.45$所以 $\alpha_A 0.450.450.9$。$\beta_A$: 任取一行计算该行在$Y_1$上的概率和。取第一行$0.80.10.9$。子集B ($Y_2$):$\alpha_B$: $p(Y1) 0.50.1 0.50.1 0.1$。$\beta_B$: 任取一行在$Y_2$上的值取第一行$0.1$。应用公式$C \alpha_A \log_2 \frac{\alpha_A}{\beta_A} \alpha_B \log_2 \frac{\alpha_B}{\beta_B}$ $ 0.9 * \log_2(\frac{0.9}{0.9}) 0.1 * \log_2(\frac{0.1}{0.1})$ $ 0.9 * \log_2(1) 0.1 * \log_2(1)$ $ 0.90 0.10 0$ 比特 这个结果是0显然不对。问题出在哪里公式 $C \sum_s \alpha_s \log \frac{\alpha_s}{\beta_s}$ 是简化后的结果其完整形式与子块内输出符号数有关。更标准的准对称信道容量公式是 $$ C \log J - H(r_1, r_2, ..., r_J) - \sum_{s1}^{S} \alpha_s \log \frac{\beta_s}{n_s} $$ 其中 $J$是输入符号数$H(r_1,...,r_J)$是任一行作为概率向量的熵$n_s$是第$s$个子块中包含的输出符号数。或者更直接的方法是既然已知最优输入是均匀分布那么直接计算在均匀输入分布下的互信息 $I(X;Y)$这个值就是信道容量。 对于本例均匀输入 $p(0)p(1)0.5$计算输出分布 $p(Y)$: $p(Y0)0.45, p(Y1)0.1, p(Y2)0.45$。计算 $H(Y) -[0.45\log_2 0.45 0.1\log_2 0.1 0.45\log_2 0.45] \approx 1.369$ 比特。计算条件熵 $H(Y|X)$: 任取一行熵例如第一行(0.8,0.1,0.1)的熵 $H_{row} -[0.8\log_2 0.8 0.1\log_2 0.1 0.1\log_2 0.1] \approx 0.9219$ 比特。由于行熵相同$H(Y|X)H_{row}$。互信息 $I(X;Y) H(Y) - H(Y|X) \approx 1.369 - 0.9219 0.4471$ 比特。 所以这个信道的容量约为0.4471比特/信道使用。实操心得对于准对称信道最稳妥、最不容易出错的计算方法就是1) 识别出对称子块的划分2) 确认最优输入为均匀分布3)直接计算在均匀输入分布下的互信息。这个互信息值就是信道容量。避免直接套用复杂的衍生公式除非你对其推导过程非常熟悉。5. 从理论到实践对称性在工程中的意义与误用理解了对称信道容量的计算方法我们最终要回到它的实用价值。在通信系统设计、网络规划和性能分析中对称性假设常常能带来极大的简化。5.1 对称性作为分析工具与近似快速性能上界评估在系统设计初期面对一个复杂信道模型例如多径衰落信道的某个简化离散模型工程师可以首先检查其是否具有近似对称性。如果近似那么使用均匀输入分布计算出的互信息可以作为一个紧致的容量下界因为均匀分布不一定是最优的但对称时是最优。这个下界对于评估调制编码方案的潜力非常有用。指导编码设计对称信道的最优输入是均匀分布这直接指导了信源编码如果信源非均匀则需要压缩和信道编码码字应尽可能等概出现的设计方向。例如对于BSC采用等概的二进制输入是最优的这印证了为什么我们在数字通信中总是希望把数据转换成等概的比特流。简化算法初始化即使在非对称信道的容量迭代算法如Blahut-Arimoto算法中也常常以均匀分布作为迭代的起始点。如果信道接近对称这个初始点会非常接近最优解能加速算法收敛。5.2 常见的误用与陷阱尽管对称性很有用但实践中误用的情况也不少。盲目套用公式这是最大的陷阱。看到矩阵有点规律就直接套 $C\log K - H_{row}$而不验证“列和相等”这一关键条件。例如一个行是置换但列和差异很大的信道其容量可能远小于这个公式计算的结果因为均匀输入并不能使输出均匀。混淆不同类型的对称性除了我们讨论的弱对称信道、准对称信道还有“循环对称”、“群对称”等更抽象的概念。它们的容量计算方式可能不同。在实际论文或标准中务必厘清作者所指的是哪一种对称性。忽略实际约束理论上的对称信道容量假设了无限长的随机编码。在实际系统中受限于编码复杂度、时延、反馈等因素可达速率往往低于香农容量。对称性给出的只是一个理论极限。对连续信道的错误类推离散对称信道的结论不能直接平移到连续信道如AWGN信道。AWGN信道在功率约束下达到容量的是高斯输入分布而不是均匀分布无限区间上均匀分布功率无限大。连续信道也有其对称性如旋转对称但分析工具不同。5.3 一个综合案例分析一个简单中继信道模型假设我们有一个简单的两跳二进制中继模型。源节点S以概率p错误地传输到中继R中继R以概率q错误地传输到目的节点D。假设S到R和R到D是两个独立的BSC。我们考虑R采用解码转发策略即它先解码S的信息然后再重新编码发送给D。那么从S到D的等效信道是什么如果R能完美解码即p很小那么等效信道近似为BSC(q)。如果R解码错误错误会传播。精确的等效信道矩阵会复杂一些。但如果我们考虑一个理想情况R总是能正确解码那么等效信道就是一个BSC(q)这是一个对称信道其容量为 $C 1 - H_b(q)$。这个简单的分析告诉我们在中继链路中第一跳S-R的质量至关重要。如果第一跳错误率高中继就成了瓶颈。通过对称信道容量的分析我们可以量化地看到提升中继节点的解码能力降低p对端到端容量的影响可能比优化第二跳降低q更有效因为第一跳的误差会被放大。这就是对称性分析带来的直观工程洞察。在我个人的仿真和理论分析经历中对称性就像一把“量尺”。当你面对一个陌生信道时首先用它去量一下。如果匹配恭喜你问题简化了90%。如果不匹配你也能通过对比更深刻地理解这个信道“非对称”在哪里它的容量瓶颈可能源于输入符号的某种“不公平”待遇从而指导你设计非均匀的输入分布或者非线性的编码策略来突破它。这种从特殊到一般的思考路径往往是解决复杂信息论问题的钥匙。 对称信道容量计算：从数学定义到工程实践
1. 从“对称”这个特性说起为什么它能让信道容量计算变简单在信息论和通信工程里计算一个信道的容量很多时候是个让人头疼的数学优化问题。你得在无穷无尽的输入概率分布里找到一个能让互信息最大化的那个“最优解”。这个过程往往需要复杂的迭代算法比如Blahut-Arimoto算法计算量大不说还不一定能保证收敛到全局最优。但有一种特殊的信道它的存在就像数学世界里的“模范生”让这个复杂问题瞬间变得清晰可解——这就是具有对称性的信道。对称性在这里不是指图形好看而是指信道转移概率矩阵具有某种数学上的“整齐”结构。最常见的两种是对称信道和弱对称信道。简单来说对称信道意味着对于任意一个输入符号所有输出符号的转移概率集合是完全一样的只是顺序可能不同而弱对称信道则要求所有行的概率集合相同并且所有列的和也相等。这种“整齐划一”的特性直接带来了一个巨大的好处达到信道容量的输入分布是均匀分布。这个结论不是凭空猜的而是有严格的数学证明作为支撑。它背后的直觉是因为信道对每个输入符号都“一视同仁”从转移概率的统计特性上看那么你作为发送端最公平、最不偏袒任何一方的策略就是给每个输入符号以相等的发送概率。这样一来最大化互信息的问题就从在概率分布的汪洋大海里寻宝简化成了在已知均匀输入分布下直接计算一个确定的互信息值。计算量从指数级下降到了多项式级甚至可以直接手算。所以当你遇到一个信道并且怀疑它可能有对称性时你手里就握有一把“万能钥匙”。接下来的任务就是学会如何识别它并熟练运用这套简化的计算方法。这不仅是考试的重点更是实际工程中快速评估信道性能的利器。2. 对称信道与弱对称信道的数学定义与识别要使用简化方法第一步必须是准确识别信道类型。我们得从严格的数学定义入手避免凭感觉误判。2.1 离散无记忆信道的矩阵表示首先我们有一个离散无记忆信道输入符号集 $X {x_1, x_2, ..., x_J}$输出符号集 $Y {y_1, y_2, ..., y_K}$。这个信道完全由它的信道转移概率矩阵$\mathbf{P}$ 所描述$$ \mathbf{P} \begin{bmatrix} p(y_1 | x_1) p(y_2 | x_1) \cdots p(y_K | x_1) \ p(y_1 | x_2) p(y_2 | x_2) \cdots p(y_K | x_2) \ \vdots \vdots \ddots \vdots \ p(y_1 | x_J) p(y_2 | x_J) \cdots p(y_K | x_J) \end{bmatrix} $$矩阵的每一行对应一个输入符号每一列对应一个输出符号。元素 $p(y_k | x_j)$ 表示在发送 $x_j$ 的条件下接收到 $y_k$ 的概率。2.2 对称信道的定义一个信道是对称信道当且仅当它的转移概率矩阵 $\mathbf{P}$ 满足以下两个条件行可重排性矩阵的每一行都是其他某一行的置换。也就是说每一行包含的数值集合完全相同只是这些数值排列的顺序不一样。列可重排性矩阵的每一列都是其他某一列的置换。也就是说每一列包含的数值集合也完全相同。一个更直观的等价定义是存在一个排列集合行的排列和列的排列使得矩阵 $\mathbf{P}$ 中所有行的和相等所有列的和也相等并且矩阵中所有元素都出现在每一行和每一列中以某种排列形式。经典例子二进制对称信道输入 $X \in {0, 1}$输出 $Y \in {0, 1}$误码率为 $p$。 转移矩阵为 $$ \mathbf{P} \begin{bmatrix} 1-p p \ p 1-p \end{bmatrix} $$第一行是 $(1-p, p)$第二行是 $(p, 1-p)$第二行是第一行的置换交换了两个元素。第一列是 $(1-p, p)$第二列是 $(p, 1-p)$第二列是第一列的置换。 因此BSC是典型的对称信道。2.3 弱对称信道的定义弱对称信道的条件比对称信道宽松一些。一个信道是弱对称信道当且仅当它的转移概率矩阵 $\mathbf{P}$ 满足行可重排性矩阵的每一行都是其他某一行的置换即所有行由同一组数值构成。列和相等矩阵每一列的所有元素之和相等。即对于任意输出符号 $y_k$有 $\sum_{j1}^{J} p(y_k | x_j) \text{常数}$。注意弱对称信道不要求列可重排。这意味着虽然每一行内部的概率分布形状一样但这些分布在不同列上的“对齐方式”可以不同只要每一列的“总权重”一样。经典例子删除信道考虑一个三进制删除信道输入 $X \in {0, 1, 2}$输出 $Y \in {0, 1, 2, E}$其中 $E$ 表示删除。假设正确接收概率为 $1-\alpha$被删除概率为 $\alpha$且删除后不提供任何原符号信息。 转移矩阵可能如下一种可能情况 $$ \mathbf{P} \begin{bmatrix} 1-\alpha 0 0 \alpha \ 0 1-\alpha 0 \alpha \ 0 0 1-\alpha \alpha \end{bmatrix} $$检查行每一行都是 $(1-\alpha, 0, 0, \alpha)$ 的某种置换吗第一行是 $(1-\alpha, 0, 0, \alpha)$第二行是 $(0, 1-\alpha, 0, \alpha)$第三行是 $(0, 0, 1-\alpha, \alpha)$。虽然都有两个0、一个$1-\alpha$和一个$\alpha$但$1-\alpha$的位置不同。严格来说这不是行的简单置换因为数值“0”出现了多次而置换要求的是数值集合的完全一致。实际上这个信道通常被认为是弱对称的但需要更严谨地看待“行的置换”定义。在信息论中对于这种“行内元素集合相同但多次出现的元素如0在行内视为不可区分的”情况通常也归入弱对称的范畴。更精确地说所有行具有相同的熵 $H(Y|Xx_j)$。检查列和第一列和 $(1-\alpha)001-\alpha$第二列和 $0(1-\alpha)01-\alpha$第三列和 $00(1-\alpha)1-\alpha$第四列和 $\alpha\alpha\alpha3\alpha$。列和不全相等因此它不满足弱对称信道的第二个条件所有列和相等。所以这个常见的删除信道模型不是弱对称信道。这是一个重要的辨析点很多初学者会在这里犯错。一个真正的弱对称信道例子考虑一个2输入3输出的信道 $$ \mathbf{P} \begin{bmatrix} 0.5 0.3 0.2 \ 0.2 0.5 0.3 \end{bmatrix} $$行第一行 $(0.5, 0.3, 0.2)$第二行 $(0.2, 0.5, 0.3)$。第二行是第一行的一个循环移位置换行集合相同。列和第一列 $0.50.20.7$第二列 $0.30.50.8$第三列 $0.20.30.5$。列和不相等所以这也不是弱对称信道。看来构造一个非平凡又满足严格定义的弱对称信道例子需要一些技巧。一个满足条件的简单弱对称信道例子2输入2输出但非对称 $$ \mathbf{P} \begin{bmatrix} 0.8 0.2 \ 0.2 0.8 \end{bmatrix} $$ 等等这个就是BSC它是对称信道自然也是弱对称信道。要找一个不是对称信道但是弱对称信道的例子可以考虑 $$ \mathbf{P} \begin{bmatrix} 0.7 0.2 0.1 \ 0.1 0.7 0.2 \ 0.2 0.1 0.7 \end{bmatrix} $$行每一行都是 $(0.7, 0.2, 0.1)$ 的循环置换满足条件。列和第一列 $0.70.10.21.0$第二列 $0.20.70.11.0$第三列 $0.10.20.71.0$相等。 所以这是一个3x3的弱对称信道它同时也是对称的吗检查列第一列$(0.7,0.1,0.2)$第二列$(0.2,0.7,0.1)$第三列$(0.1,0.2,0.7)$每一列也是同一组数的置换所以它实际上是一个对称信道。注意识别对称性时最容易出错的就是“行的置换”这一条。当一行中有重复元素时比如多个0要判断两行是否是置换需要看它们包含的数值的多重集合是否完全相同。例如行A: (0.5, 0.3, 0.2) 和行B: (0.2, 0.5, 0.3) 是置换。行A: (0.4, 0.4, 0.2) 和行B: (0.4, 0.2, 0.4) 也是置换。但行A: (0.5, 0.3, 0.2) 和行B: (0.5, 0.2, 0.2, 0.1) 就不是置换因为元素集合不同。3. 信道容量简化计算公式的推导与应用一旦我们确认信道具有对称性或弱对称性就可以使用强大的简化公式。这个公式的核心思想是均匀输入分布 $p(x_j) 1/J$ 是达到信道容量的最优分布。3.1 公式推导的直观理解为什么均匀分布最优我们可以从互信息 $I(X;Y)$ 的表达式和对称性带来的性质来理解。互信息 $I(X;Y) H(Y) - H(Y|X)$。$H(Y|X)$ 是条件熵。在对称/弱对称信道中由于每一行的概率集合相同那么对于每一个输入 $x_j$条件分布 $p(Y|Xx_j)$ 的熵都是相同的记作 $H(Y|Xx_j) H_{row}$。因此条件熵 $H(Y|X) \sum_j p(x_j) H(Y|Xx_j) H_{row} \sum_j p(x_j) H_{row}$。条件熵与输入分布无关成了一个常数。于是最大化互信息 $I(X;Y)$ 就等价于最大化输出熵 $H(Y)$。现在看 $H(Y)$。输出 $Y$ 的分布为 $p(y_k) \sum_{j1}^{J} p(x_j) p(y_k | x_j)$。在弱对称信道中有一个关键性质当输入是均匀分布时输出也是均匀分布。因为根据定义每一列的和相等设其为 $c$那么 $p(y_k) \sum_j (1/J) * p(y_k|x_j) (1/J) * \sum_j p(y_k|x_j) (1/J) * c$这是一个与 $k$ 无关的常数所以所有 $p(y_k)$ 相等即输出均匀分布。均匀分布是离散随机变量中熵最大的分布在取值个数固定的情况下。因此均匀输入分布同时做到了1) 使条件熵最小固定为常数 $H_{row}$2) 使输出熵最大达到其最大值 $\log K$其中 $K$ 是输出符号数。从而使得互信息达到最大。对于对称信道证明类似并且由于列也是置换性质更好。3.2 容量计算公式基于以上推导我们得到对于弱对称信道其信道容量 $C$ 为$$ C \log_2 K - H_{row} $$其中$K$ 是输出符号集 $Y$ 的大小即信道矩阵的列数。$H_{row}$ 是信道矩阵中任意一行的熵因为所有行熵相等。计算 $H_{row}$ 时使用以2为底的对数单位是比特/信道使用。$\log_2 K$ 是输出符号集在均匀分布下的最大熵。对于对称信道公式同样适用。因为对称信道是弱对称信道的子集。二进制对称信道BSC容量计算示例 BSC的转移矩阵为 $\begin{bmatrix} 1-p p \ p 1-p \end{bmatrix}$。输出符号数 $K2$所以 $\log_2 K \log_2 2 1$ 比特。任取一行例如第一行 $(1-p, p)$其熵 $H_{row} -[(1-p)\log_2(1-p) p\log_2 p]$这就是著名的二元熵函数 $H_b(p)$。因此BSC容量 $C 1 - H_b(p)$。当 $p0$ 或 $p1$ 时$C1$ 比特当 $p0.5$ 时$C0$ 比特。这个公式完美刻画了误码率对信道极限速率的损害。3x3弱对称信道示例计算 沿用上一节的例子$\mathbf{P} \begin{bmatrix} 0.7 0.2 0.1 \ 0.1 0.7 0.2 \ 0.2 0.1 0.7 \end{bmatrix}$。输出符号数 $K3$$\log_2 3 \approx 1.585$ 比特。计算任一行的熵取第一行 $(0.7, 0.2, 0.1)$ $H_{row} -[0.7\log_2 0.7 0.2\log_2 0.2 0.1\log_2 0.1]$ 计算各项 $0.7\log_2 0.7 \approx 0.7 \times (-0.5146) -0.3602$ $0.2\log_2 0.2 \approx 0.2 \times (-2.3219) -0.4644$ $0.1\log_2 0.1 \approx 0.1 \times (-3.3219) -0.3322$ 所以 $H_{row} -[-0.3602 -0.4644 -0.3322] 1.1568$ 比特。信道容量 $C \approx 1.585 - 1.1568 0.4282$ 比特/信道使用。这个计算过程比使用Blahut-Arimoto算法迭代求解要简单直接得多。3.3 公式的适用边界与注意事项虽然这个公式非常强大但应用时必须严格检查前提条件。必须首先验证对称性这是最常出错的地方。不要看到矩阵有点“整齐”就想当然。必须逐一检查“行可重排”和“列和相等”对于弱对称这两个条件。一个常见的错误是混淆“行和相等”与“列和相等”。行和永远等于1因为每行是一个概率分布这没有意义。关键是列和相等。输出符号集的大小 $K$公式中的 $\log_2 K$ 来源于输出均匀分布的熵。这隐含了一个假设在均匀输入下每一个输出符号的概率都大于0。如果信道矩阵有全零列即某个输出符号永远不可能出现那么这个输出符号实际上不应该被计入 $K$。理论上$K$ 应该是在最优输入分布下具有正概率的输出符号的个数。在对称/弱对称信道且均匀输入下如果存在全零列意味着该列和为零这与“列和相等”矛盾除非所有列和都为零这不可能。因此对于严格满足定义的弱对称信道不会出现全零列。但在近似分析或构造例子时要小心。输入分布均匀性的再确认公式基于“均匀输入分布最优”的结论。对于弱对称信道这个结论是成立的。但对于一些更广义的“对称”结构如准对称信道最优输入分布可能仍然是均匀的但容量公式可能需要分组计算。这超出了基本弱对称信道的范围。单位一致性确保 $\log$ 的底数一致。在信息论中通常使用以2为底的对数结果单位是“比特”。如果使用自然对数单位是“奈特”。公式 $C \log K - H_{row}$ 中的 $\log$ 必须使用相同的底数。4. 超越标准定义准对称信道及其容量计算在实际问题中我们有时会遇到一种“几乎”对称但又不符合严格弱对称定义的信道。例如行是置换的但列和并不完全相等。这时我们可以将其划分为几个“块”使得每个块内部是对称的这就是准对称信道。4.1 准对称信道的定义一个信道是准对称的如果我们可以将其输出符号集 $Y$ 划分成若干个互不相交的子集称为“对称子集”满足对于每一个子集信道矩阵中对应于该子集输出的那些列构成的子矩阵是一个弱对称信道。更直观地说整个信道矩阵可以按列分块每个列块对应的子矩阵其自身满足行可重排并且该子矩阵的列和在这个子矩阵内部看是相等的。注意不同子块之间的列和可以不相等。这是它与弱对称信道的关键区别。4.2 准对称信道的容量计算思路对于准对称信道最优输入分布仍然是均匀分布。这一点非常有用。证明思路类似于弱对称信道但需要更细致的分析。由于每个对称子块内部具有一致性均匀输入分布能使每个子块内部的输出分布是均匀的从而在约束条件下最大化总输出熵。容量计算公式变为 $$ C \sum_{s1}^{S} \alpha_s \log_2 \frac{\alpha_s}{\beta_s} $$ 其中$S$ 是划分出的对称子块的个数。$\alpha_s$ 是在均匀输入分布下输出落在第 $s$ 个子块的总概率。$\beta_s$ 是第 $s$ 个子块中任意一行在该子块上的概率和因为行可重排所以这个和对于所有行是相同的。这个公式的推导涉及到将互信息分解到各个子块并利用拉格朗日乘数法求解。对于使用者来说可以将其作为一个计算模板。4.3 准对称信道计算实例考虑一个信道输入为{0,1}输出为{0,1,2}转移矩阵如下 $$ \mathbf{P} \begin{bmatrix} 0.6 0.3 0.1 \ 0.3 0.1 0.6 \end{bmatrix} $$检查对称性行第一行(0.6, 0.3, 0.1)第二行(0.3, 0.1, 0.6)。第二行是第一行的置换吗(0.6, 0.3, 0.1) 和 (0.3, 0.1, 0.6) 包含的数值集合都是 {0.6, 0.3, 0.1}所以是置换。满足行可重排。列和第一列 0.60.30.9第二列 0.30.10.4第三列 0.10.60.7。列和不相等因此不是弱对称信道。尝试划分对称子集 观察矩阵看哪些列可以组成一个“子块”使得在这个子块内列和相等。如果我们把第1列和第3列作为一个子块子矩阵为 $\begin{bmatrix} 0.6 0.1 \ 0.3 0.6 \end{bmatrix}$。检查这个子块行第一行(0.6, 0.1)第二行(0.3, 0.6)。数值集合不同{0.6,0.1} vs {0.3,0.6}不是置换。不行。如果我们把第1列单独作为子块1第2列和第3列作为子块2。子块1只有一列 $\begin{bmatrix}0.6 \ 0.3\end{bmatrix}$。单列矩阵行集合是{0.6, 0.3}不是置换因为只有一列谈不上置换但可以视为退化的对称块需要谨慎。列和就是它自己0.9。子块2包含第2、3列子矩阵 $\begin{bmatrix}0.3 0.1 \ 0.1 0.6\end{bmatrix}$。行第一行(0.3, 0.1)第二行(0.1, 0.6)。数值集合不同不是置换。 这个划分失败了。实际上对于这个矩阵正确的划分是无法划分成两个或以上的对称子块但它本身也不是弱对称的。所以它可能不是准对称信道。我们需要重新找一个例子。一个标准的准对称信道例子 输入{0,1}输出{0,1,2,3}转移矩阵 $$ \mathbf{P} \begin{bmatrix} 0.4 0.3 0.2 0.1 \ 0.1 0.2 0.3 0.4 \end{bmatrix} $$检查行是置换{0.4,0.3,0.2,0.1}列和0.5, 0.5, 0.5, 0.5。列和相等所以这其实是一个弱对称信道因为只有两行行置换且列和相等。直接用弱对称公式即可$K4$, $\log_2 42$, $H_{row} H(0.4,0.3,0.2,0.1) \approx 1.846$比特$C \approx 0.154$比特。这个例子不典型。构造一个真正的准对称信道例子 考虑一个3输入4输出的信道 $$ \mathbf{P} \begin{bmatrix} 0.3 0.2 0.4 0.1 \ 0.4 0.1 0.3 0.2 \ 0.2 0.3 0.1 0.4 \end{bmatrix} $$检查整体弱对称性行每一行都是{0.3, 0.2, 0.4, 0.1}的置换满足。列和第一列0.30.40.20.9第二列0.20.10.30.6第三列0.40.30.10.8第四列0.10.20.40.7。不相等。所以不是弱对称。尝试划分对称子集 观察列尝试将列1和列3分为一组子集A列2和列4分为另一组子集B。子集A列1,3对应的子矩阵 $\begin{bmatrix}0.3 0.4 \ 0.4 0.3 \ 0.2 0.1\end{bmatrix}$ 检查行第一行(0.3,0.4)第二行(0.4,0.3)是置换第三行(0.2,0.1)与前两行数值集合不同。失败因为第三行破坏了“所有行是置换”的条件。这说明划分必须保证在同一个子集内所有行在该子集上的概率向量是置换。仔细观察原矩阵发现一个规律每一行都是四个数(0.3,0.2,0.4,0.1)的排列。但列和不同。有没有一种划分使得在每个子块内行向量是置换呢假设我们划分列索引为子集1: {1,4}子集2: {2,3}。子集1列1,4子矩阵$\begin{bmatrix}0.3 0.1 \ 0.4 0.2 \ 0.2 0.4\end{bmatrix}$ 行1: (0.3,0.1), 行2: (0.4,0.2), 行3: (0.2,0.4)。这三个向量的数值集合都不同不是置换。子集2列2,3子矩阵$\begin{bmatrix}0.2 0.4 \ 0.1 0.3 \ 0.3 0.1\end{bmatrix}$ 同样行向量不是置换。看来这个矩阵可能也不是准对称的。构造一个干净的例子需要精心设计。一个经典的准对称信道例子是二元删除信道的某种变体或者将BSC的输出再分组。一个可行的准对称信道例子通过分组BSC输出 考虑一个信道它由两个并行的、错误概率不同的BSC组成但输出被合并观察。这样构造比较复杂。为了教学清晰我们采用一个教科书常见例子 输入{0,1}输出{0,1,2}转移矩阵 $$ \mathbf{P} \begin{bmatrix} 0.8 0.1 0.1 \ 0.1 0.1 0.8 \end{bmatrix} $$检查整体弱对称行是置换({0.8,0.1,0.1})列和0.9, 0.2, 0.9。不相等。划分对称子集注意到第1列和第3列的和都是0.9第2列和是0.2。观察子矩阵取列1和列3作为子集A$\begin{bmatrix}0.8 0.1 \ 0.1 0.8\end{bmatrix}$。这个子矩阵的两行(0.8,0.1)和(0.1,0.8)是置换且在这个2x2子矩阵内列和分别为0.9和0.9相等。所以子集A自身构成一个对称信道实际上是BSC的某种形式。取列2单独作为子集B$\begin{bmatrix}0.1 \ 0.1\end{bmatrix}$。这是一个单列矩阵所有行在此列的值相同都是0.1可以视为退化的对称块。验证准对称性我们将输出符号集Y划分成了两个子集$Y_1 {0, 2}$ 和 $Y_2 {1}$。对于$Y_1$对应的子矩阵它是一个对称信道。对于$Y_2$对应的单列也满足“行可重排”因为值都相同。因此这个信道是准对称信道。计算容量最优输入分布均匀分布$p(0)p(1)0.5$。计算参数子集A ($Y_1$):$\alpha_A$: 在均匀输入下输出落在$Y_1$的概率。$p(Y0) 0.50.8 0.50.1 0.45$ $p(Y2) 0.50.1 0.50.8 0.45$所以 $\alpha_A 0.450.450.9$。$\beta_A$: 任取一行计算该行在$Y_1$上的概率和。取第一行$0.80.10.9$。子集B ($Y_2$):$\alpha_B$: $p(Y1) 0.50.1 0.50.1 0.1$。$\beta_B$: 任取一行在$Y_2$上的值取第一行$0.1$。应用公式$C \alpha_A \log_2 \frac{\alpha_A}{\beta_A} \alpha_B \log_2 \frac{\alpha_B}{\beta_B}$ $ 0.9 * \log_2(\frac{0.9}{0.9}) 0.1 * \log_2(\frac{0.1}{0.1})$ $ 0.9 * \log_2(1) 0.1 * \log_2(1)$ $ 0.90 0.10 0$ 比特 这个结果是0显然不对。问题出在哪里公式 $C \sum_s \alpha_s \log \frac{\alpha_s}{\beta_s}$ 是简化后的结果其完整形式与子块内输出符号数有关。更标准的准对称信道容量公式是 $$ C \log J - H(r_1, r_2, ..., r_J) - \sum_{s1}^{S} \alpha_s \log \frac{\beta_s}{n_s} $$ 其中 $J$是输入符号数$H(r_1,...,r_J)$是任一行作为概率向量的熵$n_s$是第$s$个子块中包含的输出符号数。或者更直接的方法是既然已知最优输入是均匀分布那么直接计算在均匀输入分布下的互信息 $I(X;Y)$这个值就是信道容量。 对于本例均匀输入 $p(0)p(1)0.5$计算输出分布 $p(Y)$: $p(Y0)0.45, p(Y1)0.1, p(Y2)0.45$。计算 $H(Y) -[0.45\log_2 0.45 0.1\log_2 0.1 0.45\log_2 0.45] \approx 1.369$ 比特。计算条件熵 $H(Y|X)$: 任取一行熵例如第一行(0.8,0.1,0.1)的熵 $H_{row} -[0.8\log_2 0.8 0.1\log_2 0.1 0.1\log_2 0.1] \approx 0.9219$ 比特。由于行熵相同$H(Y|X)H_{row}$。互信息 $I(X;Y) H(Y) - H(Y|X) \approx 1.369 - 0.9219 0.4471$ 比特。 所以这个信道的容量约为0.4471比特/信道使用。实操心得对于准对称信道最稳妥、最不容易出错的计算方法就是1) 识别出对称子块的划分2) 确认最优输入为均匀分布3)直接计算在均匀输入分布下的互信息。这个互信息值就是信道容量。避免直接套用复杂的衍生公式除非你对其推导过程非常熟悉。5. 从理论到实践对称性在工程中的意义与误用理解了对称信道容量的计算方法我们最终要回到它的实用价值。在通信系统设计、网络规划和性能分析中对称性假设常常能带来极大的简化。5.1 对称性作为分析工具与近似快速性能上界评估在系统设计初期面对一个复杂信道模型例如多径衰落信道的某个简化离散模型工程师可以首先检查其是否具有近似对称性。如果近似那么使用均匀输入分布计算出的互信息可以作为一个紧致的容量下界因为均匀分布不一定是最优的但对称时是最优。这个下界对于评估调制编码方案的潜力非常有用。指导编码设计对称信道的最优输入是均匀分布这直接指导了信源编码如果信源非均匀则需要压缩和信道编码码字应尽可能等概出现的设计方向。例如对于BSC采用等概的二进制输入是最优的这印证了为什么我们在数字通信中总是希望把数据转换成等概的比特流。简化算法初始化即使在非对称信道的容量迭代算法如Blahut-Arimoto算法中也常常以均匀分布作为迭代的起始点。如果信道接近对称这个初始点会非常接近最优解能加速算法收敛。5.2 常见的误用与陷阱尽管对称性很有用但实践中误用的情况也不少。盲目套用公式这是最大的陷阱。看到矩阵有点规律就直接套 $C\log K - H_{row}$而不验证“列和相等”这一关键条件。例如一个行是置换但列和差异很大的信道其容量可能远小于这个公式计算的结果因为均匀输入并不能使输出均匀。混淆不同类型的对称性除了我们讨论的弱对称信道、准对称信道还有“循环对称”、“群对称”等更抽象的概念。它们的容量计算方式可能不同。在实际论文或标准中务必厘清作者所指的是哪一种对称性。忽略实际约束理论上的对称信道容量假设了无限长的随机编码。在实际系统中受限于编码复杂度、时延、反馈等因素可达速率往往低于香农容量。对称性给出的只是一个理论极限。对连续信道的错误类推离散对称信道的结论不能直接平移到连续信道如AWGN信道。AWGN信道在功率约束下达到容量的是高斯输入分布而不是均匀分布无限区间上均匀分布功率无限大。连续信道也有其对称性如旋转对称但分析工具不同。5.3 一个综合案例分析一个简单中继信道模型假设我们有一个简单的两跳二进制中继模型。源节点S以概率p错误地传输到中继R中继R以概率q错误地传输到目的节点D。假设S到R和R到D是两个独立的BSC。我们考虑R采用解码转发策略即它先解码S的信息然后再重新编码发送给D。那么从S到D的等效信道是什么如果R能完美解码即p很小那么等效信道近似为BSC(q)。如果R解码错误错误会传播。精确的等效信道矩阵会复杂一些。但如果我们考虑一个理想情况R总是能正确解码那么等效信道就是一个BSC(q)这是一个对称信道其容量为 $C 1 - H_b(q)$。这个简单的分析告诉我们在中继链路中第一跳S-R的质量至关重要。如果第一跳错误率高中继就成了瓶颈。通过对称信道容量的分析我们可以量化地看到提升中继节点的解码能力降低p对端到端容量的影响可能比优化第二跳降低q更有效因为第一跳的误差会被放大。这就是对称性分析带来的直观工程洞察。在我个人的仿真和理论分析经历中对称性就像一把“量尺”。当你面对一个陌生信道时首先用它去量一下。如果匹配恭喜你问题简化了90%。如果不匹配你也能通过对比更深刻地理解这个信道“非对称”在哪里它的容量瓶颈可能源于输入符号的某种“不公平”待遇从而指导你设计非均匀的输入分布或者非线性的编码策略来突破它。这种从特殊到一般的思考路径往往是解决复杂信息论问题的钥匙。