最优控制神经网络自适应动态规划ADP有文献参考可自行查询。 符合要求请放心联系MATLAB复现保证能够运行。最优控制总让人联想到复杂的数学推导但结合神经网络其实可以玩出很多花样。今天咱们用MATLAB实现一个基于自适应动态规划ADP的倒立摆控制案例过程中穿插点代码骚操作和暴力调参经验。先定义倒立摆动力学模型。状态变量选摆角θ和角速度ω控制输入是力矩u。非线性微分方程写成function dydt pendulum_dynamics(t,y,u) m 0.1; % 摆杆质量 l 0.5; % 半长 g 9.8; b 0.01; % 摩擦系数 dydt [y(2); (m*g*l*sin(y(1)) - b*y(2) u)/(m*l^2)]; end这里故意没做线性化处理保留sin项的非线性特性后面全靠神经网络硬刚。接着搭建评价网络Critic Network用两层全连接来近似值函数criticNet [ featureInputLayer(2) fullyConnectedLayer(8,WeightsInitializer,he) reluLayer fullyConnectedLayer(1,WeightsInitializer,he) ];注意权重初始化选he方法这比xavier更适合ReLU激活。网络输出值函数V的估计后面要通过TD误差不断修正。动作网络Actor Network更刺激直接输出控制量actorOpts rlRepresentationOptions(LearnRate,1e-3); actorNet [ featureInputLayer(2) fullyConnectedLayer(16,WeightsInitializer,he) reluLayer fullyConnectedLayer(1,WeightsInitializer,zeros) tanhLayer % 限制输出范围 ];tanh层把控制力矩限制在[-1,1]之间防止力矩过大导致系统发散。这里有个骚操作最后一层权重初始化为零让网络初始策略接近零输入符合倒立摆需要微小调整的特性。最优控制神经网络自适应动态规划ADP有文献参考可自行查询。 符合要求请放心联系MATLAB复现保证能够运行。训练循环部分采用异步更新的双网络结构for episode 1:500 % 采集轨迹数据 [states, controls] collect_data(pendulum_dynamics); % Critic网络更新 V_next predict(targetCritic, states(2:end,:)); target rlTDtarget(rewards, V_next, gamma); critic trainNetwork(states, target, critic); % Actor网络策略提升 gradients dlgradient(V, actor.Learnables); actor update(actor, gradients); % 软更新目标网络 targetCritic updateTarget(targetCritic, critic, tau); end这里有个细节target网络更新采用tau0.01的软更新而不是直接复制参数。这样可以稳定训练过程避免Q值估计突变导致震荡。测试阶段发现系统在±30度内都能稳得住但初始角度超过60度就会翻车。这时候可以引入经验回放机制把历史数据存到buffer里buffer replayBuffer(10000); for step 1:1000 [s,a,r,s_next] env.step(); buffer.add(s,a,r,s_next); % 随机采样小批量 batch buffer.sample(64); % 更新网络... end随机采样打破了数据相关性实测能让收敛速度提升30%左右。不过要注意batch别设太大否则内存会炸。最后给个可视化效果当摆杆从下垂状态启动时控制力矩会先给个强力脉冲约0.8N·m然后在直立位置附近进入高频微调模式。这和我们手动控制时的直觉一致——先大力出奇迹再细腻微操。代码里有个隐藏坑点MATLAB的dlarray自动微分在循环中容易内存泄漏建议每100步调用一次clear mex来释放显存。这问题折磨了我两天后来在论坛扒到老哥的解决方案才搞定。完整代码已打包解压后直接run main.m就能看到摆杆从乱晃到直立的动画过程。