当我们学习数学的时候老师经常会说把这两道题合并起来看看能不能解出更复杂的问题。腾讯HY、香港科技大学和香港大学的研究团队最近就是基于这样一个简单而巧妙的想法开发出了一种名为Composition-RL的新方法。这项研究发表于2026年2月13日论文编号为arXiv:2602.12036v1为大语言模型的强化学习训练带来了全新突破。现在的AI训练就像是给一个学生准备考试。传统方法就是不断地让AI做练习题但问题来了随着AI越来越聪明原本的题目对它来说变得太简单了就像一个高中生再做小学算术题一样基本上每道题都能答对。这种情况下AI就不再从这些简单题目中学到新东西了。研究团队发现了一个有趣的现象在AI训练过程中有些题目变得太难AI总是答错有些题目变得太容易AI总是答对。以前的研究主要关注如何处理那些太难的题目但这次的研究发现那些太容易的题目同样是个大问题。当AI在训练后期能够正确回答75%的题目时实际上有效的训练数据就只剩下25%了这大大降低了训练效率。于是研究团队想出了一个绝妙的办法既然简单题目对AI来说太容易那为什么不把几道简单题目组合起来创造出一道更有挑战性的新题目呢这就像是把两个简单的烹饪步骤组合成一个复杂的菜谱一样。一、巧妙的题目拼接术把简单变复杂的艺术研究团队开发的方法叫做顺序提示组合Sequential Prompt CompositionSPC这个过程就像是在玩一个精巧的拼图游戏。假设有两道数学题第一道是求方程2x-73中x的值答案是5第二道是简化表达式3(5p1-2p×4)(4-1/3)(6p-9)。传统训练中AI会分别解决这两道题但现在研究团队要把它们巧妙地组合起来。组合的过程分为三个步骤就像制作一道融合菜肴一样。首先研究团队从第一道题的答案中提取一个数值比如答案5然后给它起个新名字比如叫X并且用自然语言描述它设X为满足方程2x-73的x值的总和。接下来研究团队在第二道题中找到一个数字比如数字1然后用一个变量Y来代替它把原题改写为简化表达式3(5pY-2p×4)(4-1/3)(6p-9)。最后研究团队建立X和Y之间的关系。由于X等于5Y原来等于1所以可以说Y比X小4。这样原本两道独立的简单题目就变成了一道复合题目设X为满足方程2x-73的x值的总和。Y比X小4。请简化表达式3(5pY-2p×4)(4-1/3)(6p-9)。现在AI要想正确解答这道题就必须先解出第一道题得到X的值再根据X和Y的关系确定Y的值最后才能解决第二道题。这就像是解谜游戏一样每一步都依赖于前一步的结果。研究团队还可以继续这个过程把三道、四道甚至更多题目组合起来创造出层层嵌套的复杂问题。他们把组合的题目数量称为组合深度就像建筑的楼层数一样楼层越高挑战越大。二、意外的发现简单题目竟然是训练的绊脚石在实际测试中研究团队发现了一个令人意外的现象。他们追踪了AI训练过程中全对题目即AI每次都答对的题目的比例变化结果发现这个比例在训练的前50步中从接近零急剧上升到50%以上然后稳定在75%左右。这意味着什么呢想象一下你有12000道练习题但随着学习进展其中9000道题对你来说都变得太简单了你每次都能答对。这些题目对你的进步就没有任何帮助了实际有效的练习题只剩下3000道。这就是AI训练中面临的困境。更有趣的是研究团队测试了两个不同能力水平的AI模型发现即使是更强的模型在面对组合题目时准确率也会明显下降。具体来说OpenMath-Reasoning-1.5B模型在原始题目上的准确率是92.3%但在组合题目上只有72.6%JustRL-1.5B模型从94.6%下降到79.2%。这个发现证实了研究团队的猜想通过题目组合可以有效地将简单题目转化为更具挑战性的问题让原本太容易的题目重新变得有训练价值。三、跨领域的混搭实验数学遇上物理研究团队还进行了一个特别有趣的实验他们尝试把不同学科的题目组合起来。具体来说他们把物理题目和数学题目进行组合创造出需要跨学科知识才能解决的复合问题。这就像是在厨房里进行中西合璧的烹饪实验。传统的方法是要么只做中餐要么只做西餐或者简单地把中餐和西餐放在同一桌上。但研究团队的方法是真正地把中餐和西餐的烹饪技巧融合起来创造出全新的菜品。实验结果令人惊喜。在多个测试中使用跨学科组合题目训练的AI模型不仅在数学任务上表现更好在物理任务上也有显著提升甚至在法律、工程、化学等其他领域也展现出更强的推理能力。比如在AIME24数学竞赛题目上使用物理-数学组合训练的模型比仅使用数学题目训练的模型高出9.1%的准确率。在专业知识问答MMLU-Pro测试中组合训练的模型也比传统混合训练方法高出4.3%。四、渐进式学习从简单到复杂的阶梯式训练研究团队还开发了一种课程式的训练方法就像是为学生设计的阶梯式学习计划。他们不是一开始就让AI面对最复杂的组合题目而是从简单开始逐步增加难度。这个过程就像学习钢琴一样。你不会一开始就弹奏复杂的协奏曲而是从简单的练习曲开始当你掌握了基础技巧后再逐渐挑战更复杂的曲子。具体来说研究团队首先让AI在原始的数学题目上训练深度1当AI的表现开始饱和时他们就切换到两道题组合的训练集深度2当深度2的训练也趋于饱和时再进一步切换到三道题组合深度3。实验结果显示这种渐进式训练方法效果卓越。在AIME24测试中使用课程式Composition-RL训练的4B参数模型达到了37.9%的准确率甚至超过了一些使用8B参数的其他方法如Beyond-80/20的34.6%、Alpha-RL的28.3%和RL-ZVP的24.6%。这个结果特别令人振奋因为研究团队使用的是更小的模型和更少的训练数据却获得了更好的效果。这就像是用更少的食材做出了更美味的菜肴。五、深度解析为什么这个方法如此有效研究团队从两个角度解释了Composition-RL方法成功的原因就像是解释一道美味菜肴成功的秘诀。第一个原因是组合泛化能力。当AI学会解决组合题目时它实际上是在学习如何重新组合和运用已知的技能。这就像是学会了基础的刀工、调味、火候控制后就能创造出各种不同的菜肴一样。研究团队发现在组合题目上训练的AI模型在面对更复杂的组合问题时表现更好说明它们确实学会了技能组合的能力。第二个原因是隐式过程监督。在组合题目中AI必须先正确解决第一道子题目才能继续解决后续部分。这就像是烹饪中的步骤依赖关系你必须先把洋葱炒香才能添加其他配料。这种结构天然地引导AI学习正确的解题步骤。研究团队通过追踪AI在训练过程中对中间变量的计算准确率发现这个准确率随着训练进展稳步提升证实了组合题目确实在帮助AI学习更好的推理过程。六、广泛的实验验证从小模型到大模型的全面测试研究团队在多种规模的AI模型上验证了他们方法的有效性从4B参数的小模型到30B参数的大模型都进行了测试。这就像是在不同规模的厨房里测试同一道菜谱从家庭厨房到五星级酒店的厨房。实验结果显示Composition-RL方法在所有规模的模型上都能带来显著提升而且模型越大提升效果越明显。在4B模型上整体性能提升了3.3%在8B模型上提升了3.7%在14B模型上提升了4.3%而在30B模型上更是达到了10.5%的显著提升。特别值得注意的是这种提升不仅体现在数学推理任务上在通用推理任务上也有改善。比如在GPQA科学问答和MMLU-Pro多任务推理测试中使用Composition-RL训练的模型都表现出了更强的泛化能力。研究团队还进行了细致的消融实验探讨了不同的题目选择策略对效果的影响。他们发现从更大的题目池中选择第二道题进行组合比从小题目池中选择效果更好。这就像是在烹饪时配料的多样性越丰富最终菜品的层次就越丰富。七、实际应用价值重新思考AI训练的资源利用这项研究的意义远不止是提出了一个新的训练方法它更重要的价值在于提供了一种全新的思路来解决AI训练中的资源浪费问题。在现实的AI训练中收集高质量的训练数据往往需要巨大的成本。想象一下如果你要为AI准备100万道高质量的数学题需要多少专家花费多少时间来编写和校验而Composition-RL方法提供了一种以一变多的解决方案通过巧妙的组合可以从现有的训练数据中生成大量新的、更具挑战性的训练样本。研究团队展示使用2万道基础题目可以理论上生成4亿道组合题目20,000×19,999。虽然实际使用中会进行质量过滤但仍然可以获得远超原始数据量的训练素材。这就像是有了一个神奇的食材复制器能够将有限的原料变成无限的烹饪可能。更重要的是这种方法创造的不是简单的数据复制而是真正具有新挑战性的问题。研究团队的实验证明AI模型确实从这些组合题目中学到了新的推理技能而不仅仅是记住了更多的题目。八、技术细节严谨的实验设计和质量控制为了确保组合题目的质量研究团队设计了一套严格的验证流程。他们使用AI助手来自动执行题目组合过程但在每个关键步骤都加入了质量检查机制。这个过程就像是工厂里的质量控制流水线。每个组合步骤完成后系统会自动检查是否出现了逻辑错误、变量冲突或其他问题。只有通过所有质量检查的组合题目才会被纳入最终的训练集。研究团队报告经过这种严格的过滤流程最终的错误率控制在2%以下这个水平对于AI训练来说是完全可以接受的。他们使用了先进的语言模型Qwen2.5-32B-Instruct来执行组合和验证过程确保了自动化流程的可靠性。在训练配置方面研究团队采用了统一的超参数设置批次大小256学习率1×10^-6温度参数1每个问题采样8个回答最大输出长度16K tokens。这些技术细节确保了实验结果的可重复性和可比较性。九、未来展望这只是开始不是结束研究团队在论文中坦诚地讨论了当前方法的局限性并提出了几个值得进一步探索的方向。首先当前的实验主要集中在数学推理领域虽然跨学科实验显示了不错的效果但在更广泛的领域中应用仍需进一步验证。就像一个成功的菜谱在不同的厨房和不同的食材条件下可能需要调整一样。其次目前的组合方法还相对简单主要是线性的题目串联。研究团队提到未来可以探索更复杂的组合模式比如树状结构的题目组合或者允许题目之间有更复杂的依赖关系。研究团队特别提到了几个有前景的发展方向。一是扩展到更具挑战性的数学数据集如Polaris-53K等更高难度的题库。二是将组合方法推广到更多学科领域比如历史、文学、艺术等人文学科。三是探索如何将Composition-RL与其他先进的AI训练方法结合比如在线策略蒸馏等技术。十、深远影响重新定义AI学习的边界这项研究的影响可能远超出AI训练技术本身。它提出了一个深刻的问题AI学习的瓶颈可能不在于我们需要更多的数据而在于我们需要更好地利用现有数据。这就像是环保理念在AI领域的体现。与其不断开采新的数据矿藏不如学会更充分地循环利用现有资源。Composition-RL展示了一种可能性通过创造性的重组可以从有限的数据中挖掘出无限的学习潜力。从更宏观的角度看这种方法也反映了人类学习的本质特征。人类的学习过程往往不是简单地记忆独立的知识点而是学会将已有知识进行创造性的组合和应用。一个优秀的厨师不是记住了所有菜谱的人而是能够根据现有食材创造出新菜品的人。研究团队已经承诺将发布完整的代码、数据集和训练好的模型这将为整个AI研究社区提供宝贵的资源。他们构建的MATH-Composition-199K和Physics-MATH-Composition-141K数据集将成为未来相关研究的重要基础。说到底Composition-RL不仅仅是一个技术创新更是一种思维方式的转变。它告诉我们在追求更强AI能力的道路上有时候最大的突破不来自于更多的资源投入而来自于更聪明的资源利用方式。这种化简为繁、变废为宝的智慧或许正是推动AI技术持续发展的关键所在。归根结底这项研究为我们展示了一个令人兴奋的可能性通过巧妙的方法设计我们可以在不增加数据收集成本的情况下显著提升AI模型的学习效果。这不仅是技术上的进步更是资源利用效率的重大提升。对于那些希望在有限预算内训练出更强AI模型的研究团队和企业来说Composition-RL无疑提供了一条极具价值的新路径。而对于整个AI领域来说这项研究开启了重新思考数据利用策略的新篇章其影响必将在未来的AI发展中持续显现。QAQ1Composition-RL具体是什么技术AComposition-RL是一种AI训练新方法它的核心思想是把多道简单题目巧妙地组合成一道更复杂的新题目来训练AI。比如把两道独立的数学题通过变量关系连接起来让AI必须先解决第一道题才能解决第二道题这样就把原本太简单的题目变成了有挑战性的训练材料。Q2为什么要把简单题目组合成复杂题目A因为AI在训练过程中会遇到一个问题随着能力提升原本的题目变得太简单了AI每次都能答对这些全对题目就不再有训练价值。研究发现训练后期可能有75%的题目都变成了这样的全对题目大大降低了训练效率。通过组合可以让这些简单题目重新变得有挑战性。Q3Composition-RL的效果如何A效果非常显著。实验显示在各种规模的AI模型上都能带来3-10%的性能提升而且模型越大效果越好。特别令人惊喜的是一个用Composition-RL训练的4B小模型甚至能超过一些8B模型的表现这意味着可以用更少的资源获得更好的效果。