文章来源微信公众号 EW Frontier基于深度强化学习的能效链路自适应联合功率分配与调制编码方案选择文章原题目基于深度强化学习的能效链路自适应联合功率分配与调制编码方案选择摘要链路自适应是现代网络应对信道时变特性的有效手段调制编码方案MCS选择是实现信道动态适配的核心方式但下一代网络需要更灵活的链路自适应方案综合多参数提升网络性能。本文提出一种高能效的链路自适应算法引入深度强化学习DRL智能体实现信道条件与链路参数的最优匹配除调制阶数和编码率外将下行传输功率也纳入链路参数考量让链路自适应更灵活高效。仿真结果表明该算法在能量效率和链路吞吐量方面的表现均优于基准算法。引言链路自适应是5G及后5GB5G等现代高速通信网络的核心概念其重要性体现在两大方面一是通信网络需为用户提供高吞吐量的服务质量QoS和体验质量QoE但用户移动性加剧了信道波动需通过链路自适应调整调制、编码等传输技术适配信道条件以维持网络连接、保障服务质量二是带宽、能量等网络资源有限链路自适应能在QoS、QoE、连接保持与频谱效率、能量效率之间实现平衡。调制编码方案MCS选择是最常用的链路自适应方法发送方可根据信道条件选择不同调制技术和编码率信道条件良好时选用高阶调制和低编码率提升资源效率信道条件恶化时降低调制阶数、提高编码率以维持连接这一过程依赖接收方通过信道状态信息CSI反馈的信道质量指示CQI实现。5G新空口NR的自适应调制编码AMC规范定义了CQI与MCS的映射流程但这种静态映射难以适配动态信道无法保证目标块错误率BLER。近年来人工智能和机器学习在5G及B5G网络中应用广泛强化学习结合深度学习形成的深度强化学习能从动态信道条件的MCS选择实践中学习最优策略成为解决动态MCS选择问题的有效手段。同时受经济、运营和环境因素影响能耗优化成为网络设计的重要目标5G及B5G网络连接设备数量庞大亟需将能量效率纳入链路自适应的优化维度。传统链路自适应方法仅考虑MCS方案难以适配5G NR的高灵活性需升级为多域链路自适应方法纳入更多参数。但参数增加会扩大决策空间使最优解的求解更复杂而机器学习是应对这一挑战的理想技术。本文以此为背景提出基于深度强化学习的智能能效MCS选择算法联合优化MCS和传输功率以最大化能量效率同时兼顾吞吐量且算法的计算开销由计算能力无限制的基站承担不会影响终端性能。方法简介本文提出的基于深度强化学习的能效链路自适应算法核心是通过DRL智能体联合优化MCS和下行传输功率实现信道条件与链路参数的动态匹配整体方法围绕系统模型构建、深度强化学习基础框架和定制化DRL算法设计三部分展开关键设计如下系统模型基于5G NR架构以基站gNB和用户设备UE为通信主体聚焦物理下行共享信道PDSCH的数据传输基站发送信道状态信息参考信号CSIRSUE检测后反馈CQI1-15的整数数值越高信道条件越好同时考虑反馈延迟、信道衰落和噪声等实际信道特性且假设反馈信道无差错、下行信道无干扰。DRL基础框架融合强化学习RL和深度神经网络以智能体与环境的交互为核心将环境抽象为状态空间智能体的操作定义为动作空间通过奖励函数评判动作优劣采用深度Q网络DQN替代传统Q学习的Q表解决状态和动作空间扩大后的维度灾难问题通过DQN估计各动作的Q值选择最优动作并更新网络权重。定制化DRL算法设计状态空间摒弃单一CQI值采用CQI历史序列长度为CHL定义状态能感知信道的变化趋势解决信道高时变性和反馈延迟带来的适配问题经仿真确定最优CHL为8。动作空间将15种标准MCS与5种传输功率水平组合形成二维动作集合MCS包含不同调制阶数和编码率功率水平为0.6-1.4的相对系数对应具体功率值智能体能同时调整调制阶数、编码率和传输功率。奖励函数以时隙的能量效率为核心成功传输时奖励为该时隙的能量效率传输块大小/消耗功率传输失败时给予-1的惩罚引导智能体选择高能效的链路参数组合。网络架构与训练DQN包含输入层CHL个神经元对应CQI历史序列、两个ReLU激活的全连接隐藏层和输出层75个神经元对应15×5的动作空间采用ε-贪心算法平衡探索与利用训练过程分多轮次和阶段逐步降低探索概率经参数调优确定折扣因子0.01、学习率0.01为最优参数。仿真设置基于城市宏蜂窝信道模型设置子载波间隔30KHz、时隙时长0.5ms、52个资源块等5G NR关键参数禁用混合自动重传请求HARQ将基于RL的QL-AMC算法和标准表基MCS选择方法作为基准从收敛性、吞吐量、BLER、能量效率等维度开展性能评估。结论本文提出了一种智能的高能效链路自适应算法实现了传输功率水平与调制编码方案MCS的联合决策。该算法引入深度强化学习DRL智能体以CQI历史序列为状态、MCS与传输功率的组合为动作结合历史传输信息匹配信道条件与链路参数调制阶数、编码率、传输功率实现了链路参数的动态适配。仿真结果表明该算法能根据信道条件灵活调整链路参数在提升能量效率的同时同步改善了链路吞吐量解决了传统方法仅优化单一参数、适配性差的问题。未来研究可进一步将子载波间隔、系统MIMO阶数等更多链路参数纳入链路自适应手段同时考虑用户设备的服务质量QoS需求让链路自适应算法更贴合实际5G及后5G网络的复杂应用场景。