清华、MIT论文获ICML杰出奖扩散模型成大模型重要演进方向7月6日全球机器学习领域三大顶会之一ICML公布获奖名单来自清华大学和麻省理工学院的两篇与扩散模型相关的论文拿下杰出论文奖这一奖项代表本届获奖论文中的最高水准。其中一篇为清华大学黄高团队论文。除清华大学研究人员外其作者名单还出现了阿里巴巴集团研究人员的身影。该论文提出了极简算法JustGRPO该算法在GSM8K数学推理数据集上准确率达89.1%同时能完整保留扩散模型并行解码的优势。获得杰出立场论文奖的论文分析了当下的各项对齐技术并发现恶意主体可轻易利用其实施信息审查与舆论操控。作者为慕尼黑大学博士生Sarah Ball以及独立AI治理研究者Phil Hackemann。获得时间检验奖的论文来自谷歌DeepMind 2016年发表的论文其引入了一种利用多个CPU核心来加速单台机器上训练的强化学习框架在arXiv上的被引用次数超1.5万次。谷歌DeepMind AlphaGo、AlphaZero首席研究员David Silver谷歌DeepMind CTO、谷歌首席AI架构师Koray Kavukcuoglu均在作者之列。本次ICML共颁发了2项杰出论文奖、1项杰出立场论文奖、1项时间检验奖。ICML与NeurIPS、ICLR并称机器学习三大顶会于1980年创立是全球首个专门聚焦机器学习的顶级学术会议曾首发了大量里程碑论文。01. 清华、阿里联手拿下ICML杰出论文清华大学黄高团队拿下杰出论文奖的论文题目是《灵活性陷阱重新思考扩散语言模型中任意顺序的价值》。扩散大语言模型打破了传统大语言模型从左至右的刚性生成约束支持以任意顺序生成文本token。直观来看这种生成灵活性使其解空间严格包含自回归模型固定单向生成路径所能覆盖的全部范围理论上具备更强的推理能力。在数独谜题等特定约束满足类任务中该特性已被证实具备显著优势。但该论文提到针对数学、代码等通用推理任务无序生成机制反而会限制扩散大语言模型的推理上限。研究人员发现扩散大语言模型会利用生成顺序的自由度刻意回避那些不确定性高、对探索关键的token最终导致模型可覆盖的有效解范围过早收缩。基于这一发现该论文重新审视了面向扩散大语言模型的强化学习方案现有算法为保留无序生成特性需要处理组合式生成路径、难以计算的似然值等大量复杂问题。研究人员证明只需舍弃任意序生成机制、采用标准分组相对策略优化就能更好地激发模型推理能力。他们提出了极简算法JustGRPO其结构简洁且在GSM8K数学推理数据集上准确率达89.1%同时能完整保留扩散模型并行解码的优势。黄高为清华大学自动化系长聘副教授、博士生导师清华大学智能产业研究院研究员。根据清华大学自动化系披露的信息黄高的研究方向为AI基础模型与算法包括神经网络架构、高效推理算法、强化学习、多模态感知与生成、具身基座模型与世界模型等在Nature Machine Intelligence、IEEE TPAMI等期刊、会议发表学术论文200余篇其中CCF A类论文120余篇。其谷歌学术总引用10.5万次代表性工作DenseNet单篇被引6.2万次入选AI2000人工智能领域最具影响力学者。02. 另一杰出论文出自MIT、耶鲁大学提出扩散模型采样算法与清华黄高团队并列获得杰出论文奖的是麻省理工学院、耶鲁大学研究人员联合发表的扩散模型相关论文。论文名称是《扩散模型和对数凹分布的高精度采样》。该论文提出一套扩散模型采样算法若可获取L²范数下精度为O˜(δ)的分数估计该算法仅需polylog(1/δ)步即可达到δ误差。具体复杂度结论分三类场景1. 在最简数据假设下算法复杂度为O~(dpolylog(1/δ))其中d为数据维度2. 在非一致L - Lipschitz条件下复杂度降至O~(dLpolylog(1/δ))3. 若数据分布具备本征维度d⋆复杂度可进一步简化为O~(d⋆polylog(1/δ))。此外该论文方案首次仅依靠梯度求值就为通用对数凹分布构造出复杂度为polylog(1/δ)的采样器。获得杰出立场论文奖的是《立场对齐社区正在无意间打造一套审查工具集》。作者为慕尼黑大学计算机器学习方向博士生Sarah Ball以及独立AI治理研究者Phil Hackemann。其核心观点为现代对齐技术最初用于规避模型生成有害内容但这类技术属于两用技术恶意主体可轻易利用其实施信息审查与舆论操控。该论文梳理了现有各类对齐技术并结合技术被滥用的潜在风险与真实案例论证人们对“完全对齐模型”的持续追求反而在无意间为恶意主体打造出性能不断升级的信息主导工具。当下AI正快速普及、成为大众核心信息来源加之全球政治环境日趋威权化进一步放大了该技术滥用风险因此学界亟需即刻研讨其两用属性带来的隐患。研究人员呼吁整个AI领域重视安全机制被蓄意滥用的问题并提出针对性缓释方案防范此类两用技术遭到不当利用。03. 8位谷歌DeepMind资深研究员获得时间检验奖获得时间检验奖的是《深度强化学习的异步方法》。作者均为谷歌DeepMind资深研究人员。ICML的评语中提到该论文开创性提出了异步强化学习概念并行Actor学习器能够稳定学习过程的观察启发了众多后续研究。其中David Silver领导谷歌DeepMind的强化学习研究小组是AlphaGo、AlphaZero的首席研究员和AlphaStar的共同负责人Koray Kavukcuoglu是谷歌DeepMind CTO和谷歌首席AI架构师。研究人员提出一套原理简洁、轻量的深度强化学习框架该框架采用异步梯度下降优化深度神经网络控制器。研究人员基于四种经典强化学习算法分别设计了异步改进版本并验证并行执行的智能体 - 学习器结构能够稳定训练过程让上述四种算法均可有效完成神经网络控制器的训练。其中性能最优的异步演员 - 评论家算法仅依靠单核多线程CPU、无需GPU训练耗时减半在Atari游戏测试集上的效果超越了当时的最优基准模型。除此之外该异步演员 - 评论家算法不仅能解决各类连续运动控制任务还可基于视觉输入完成全新的随机三维迷宫导航任务。04. 结语清华摘顶会奖项扩散语言模型站上风口国际机器学习顶会ICML是全球AI领域含金量顶尖的学术盛会此次清华团队拿下重磅奖项直观印证国内顶尖科研团队在机器学习核心赛道的科研硬实力提升。与此同时本届ICML同步有两篇聚焦扩散模型的论文获评重磅奖项也说明扩散语言模型成为大模型重要演进方向或成为未来产业界的核心技术路线。