2015 年DeepMind 公司在《自然》杂志上发表了一篇论文报告了他们的 AI 系统在 29 款雅达利Atari游戏中超越了人类玩家的表现。这一成果的核心在于将强化学习与深度神经网络相结合形成了深度强化学习Deep Reinforcement Learning的新范式。Atari 游戏是 20 世纪 70-80 年代电子游戏产业的代表。它是一系列游戏的集合这些游戏画面简洁、规则简单、目标单一难度会随着时间逐渐增加以鼓励玩家追求更高的分数。Atari 游戏种类繁多如球类、射击类、迷宫类、竞速类和平台跳跃类等是早期街机游戏的典型代表。Atari 游戏DeepMind 的Atari AI 系统使用深度神经网络作为决策模型并结合强化学习进行训练。神经网络通过处理游戏画面直接输出控制操纵杆的指令。在训练过程中游戏中的得分被用作奖励信号强化学习算法根据这些奖励不断调整神经网络的参数以最大化最终得分。这类似于把游戏机交给一个小孩让他通过不断尝试来掌握游戏技巧最终成为游戏高手。DeepMind 所用的深度神经网络包括两个卷积层和两个全连接层输出层对应 17 个游戏杆操纵动作。DeepMind 打 Atari 游戏的神经网络。图片来源Mnih et al.