当你看到一张复杂的数学图表或几何图形时大脑会自动调动视觉理解和逻辑推理两套程序协同工作。而在人工智能领域让机器同时看懂图像并进行复杂推理一直是个令人头疼的难题。最近香港科技大学、上海交通大学、Helixon Research以及香港中文大学的联合研究团队在这个领域取得了重大突破。他们的研究成果《Diving into Self-Evolving Training for Multimodal Reasoning》发表在2025年第42届国际机器学习大会ICML 2025上论文编号为arXiv:2412.17451v3。这项研究首次系统性地解决了多模态AI系统的自我进化问题就像教会了机器如何通过不断练习来提升自己的视觉推理能力。在日常生活中我们经常需要同时运用视觉和逻辑思维。比如看一张股票走势图来预测市场或者根据地图规划最佳路线。对人类而言这种看图说话逻辑分析的组合能力似乎天生就有。但对AI系统来说这却是个巨大挑战。目前的AI虽然能够识别图像内容也能进行文本推理但要让它们像人类一样自然地结合视觉信息进行复杂推理仍然困难重重。更棘手的是训练数据的稀缺问题。就像学习一门技能需要大量优质的示范和练习一样AI系统也需要海量的高质量训练材料。但在多模态推理领域那种既包含图像又包含详细推理过程的数据极其稀少就像寻找既会画画又会解数学题的全能老师一样困难。这就迫使研究者们思考能否让AI系统通过自学的方式来突破这个瓶颈自学式训练在AI领域被称为自我进化训练它的核心思路就像让学生通过做题、检查答案、总结经验来不断提升自己的能力。在纯文本推理领域这种方法已经显示出惊人的效果。但在更复杂的多模态推理场景中情况就完全不同了。毕竟同时处理图像和文本信息再进行逻辑推理这个过程的复杂程度远超单纯的文本处理。这支联合研究团队决定从强化学习的角度重新审视多模态自学问题。他们发现自我进化训练的成功与否取决于三个关键要素就像搭建一座稳固建筑需要地基、支柱和屋顶一样。第一个要素是训练方法本身也就是AI系统如何安排自己的学习计划。第二个要素是奖励机制类似于学生做题后需要有人批改打分告诉它哪里做对了哪里做错了。第三个要素是训练材料的多样性就像学生需要接触各种类型的题目才能全面提升能力。一、突破传统的连续式自我进化训练法研究团队首先解决的是AI系统的学习节奏问题。传统的自学方法就像学生每学完一整本教科书后才开始复习这种做法效率很低。研究人员发现了一个关键问题在传统方法中AI系统完成一轮完整的数据训练后才会根据结果调整自己的策略。这就好比一个学生做完所有作业后才知道自己哪里错了错过了及时纠正的最佳时机。为了解决这个问题研究团队提出了连续自我进化的概念。这种方法让AI系统能够更频繁地检查和调整自己的学习状态就像学生每做完几道题就检查一下答案发现错误立即纠正。具体来说系统不再等到处理完所有数据才更新而是在处理一小部分数据后就进行调整。这种改进带来了显著的效果提升。研究团队在实验中发现使用连续自我进化方法的AI系统在处理数学视觉推理任务时准确率从原来的52.6%提升到了57.2%。这个看似不大的数字提升实际上代表着系统推理能力的重大飞跃。就像学生考试成绩从70分提升到80分看起来只是10分的差距但背后反映的是思维能力的质的改变。研究过程中团队还发现了一个有趣的现象学习频率的把握非常关键。如果AI系统更新得太频繁就像学生每做完一道题就要重新制定学习计划反而会导致学习过程不稳定。但如果更新得太慢又会错失及时调整的机会。通过大量实验研究者找到了最佳的平衡点让系统在处理大约四分之一的数据后进行一次更新。更深层的分析显示这种连续式学习方法的成功在于它更好地平衡了探索和利用的关系。探索就像学生尝试新的解题方法而利用则像学生运用已经掌握的技巧。传统方法往往在这两者之间摇摆不定而连续式方法则让系统能够在保持已有能力的同时稳步开拓新的推理路径。二、首创多模态过程奖励模型如果说训练方法是AI系统的学习计划那么奖励机制就是它的成绩评定标准。传统的评分方式非常粗暴就像考试只看最终答案对错完全不考虑解题过程。这种方法对于多模态推理来说显然是不够的因为即使两个学生得出了相同的正确答案他们的思维过程可能天差地别一个可能用了最优方法另一个可能走了很多弯路。研究团队意识到要真正提升AI的多模态推理能力就必须像好老师一样不仅关注最终答案更要关注思考过程的质量。于是他们开发了业界第一个专门针对多模态推理的过程奖励模型。这个模型就像一位经验丰富的数学老师能够逐步分析学生的解题过程对每一个推理步骤给出评价。这个过程奖励模型的工作原理颇为巧妙。当AI系统在解决一个视觉数学问题时比如分析一个几何图形的面积模型会追踪整个推理过程的每一步。它不仅检查最终计算结果是否正确还会评估每个中间步骤的合理性。就像判断学生是否正确识别了图形特征、是否选择了合适的公式、是否进行了正确的代入计算等等。训练这样的评价模型需要大量精心准备的数据。研究团队采用了一种称为蒙特卡洛推演的方法来生成训练数据。简单说就是让一个已经训练得比较好的AI系统从每个推理步骤开始尝试完成剩余的推理过程。通过观察这些尝试的成功率就能判断某个中间步骤的质量好坏。这就像让多个学生从同一个解题步骤开始继续往下做如果从某个步骤开始成功率特别高说明这个步骤质量很好。令人意外的是研究团队发现他们开发的过程奖励模型在某些传统评测上表现并不突出。就像一位专业的美术老师可能不一定能在大众投票中胜出但他的专业判断却更有价值。深入分析后研究者发现这个模型的真正价值在于它能够识别出那些推理过程更简洁、更贴切的答案。具体来说经过过程奖励模型筛选的答案往往具有两个特点推理步骤相对较少且每个步骤都与问题高度相关。这就像好学生的作业不会有冗余的计算也不会有跑题的内容。实验结果证明使用这种过程奖励模型后AI系统的准确率进一步从57.2%提升到了59.2%证明了细致评价推理过程的重要性。三、揭示训练数据扩展的真相在AI训练领域一个普遍的观念是数据越多越好。就像很多人认为题海战术总是有效的一样。但研究团队在探索是否应该加入更多未标注数据时却发现了一个颠覆性的结论。研究者首先进行了一个理想化的实验他们假设有完美的评价标准就像有标准答案的练习册在这种情况下测试加入额外训练数据的效果。结果显示当有完美的指导时增加数据确实能带来改善。就像学生在名师指导下做更多题目确实有帮助。但现实情况远没有这么理想。当研究团队使用他们开发的过程奖励模型来评价额外数据时情况发生了反转。不仅没有带来预期的改善反而在某些测试中出现了性能下降。这就像学生在没有标准答案的情况下盲目做题可能会巩固错误的解题习惯。更深入的分析揭示了背后的原因对于没有标准答案的题目过程奖励模型需要依靠群体投票的方式来判断答案质量。系统会生成多个可能的答案然后选择获得最多支持票的答案作为标准。但这种方法在面对复杂的多模态推理问题时并不可靠就像让一群不确定答案的学生相互讨论很可能得出错误的共识。这个发现对AI训练领域具有重要意义。它告诉我们简单地堆砌更多数据并不能保证更好的效果关键在于数据质量和评价机制的可靠性。就像学生学习一样做十道高质量的题目可能比做一百道质量不确定的题目更有价值。研究团队还测试了在训练的不同阶段引入额外数据的效果。他们发现如果在训练初期就引入这些数据负面影响相对较小。但如果在训练后期才引入系统已经形成了相对稳定的推理模式新数据反而可能造成干扰。这类似于学生在刚开始学习某个知识点时接受不同观点比较容易但在已经形成固定思维模式后新的、可能不准确的信息反而会造成混淆。四、发现并解决自学过程中的探索衰退问题在深入研究AI系统的自学动态时研究团队发现了一个令人担忧的现象随着训练的进行系统的探索能力竟然在逐渐下降。这就像一个学生刚开始学习时思维很活跃会尝试各种不同的解题方法但随着时间推移思维逐渐僵化只会用固定的套路。为了量化这个问题研究团队设计了三个关键的观测指标。第一个叫做贪婪准确率衡量系统在使用最保险方法时的表现就像学生在考试中使用最熟悉解题方法的成功率。第二个叫做探索准确率衡量系统尝试多种方法时至少有一种成功的概率就像学生用不同方法都试一遍看看能否找到正确答案。最关键的是第三个指标研究团队称之为奖励探索度这是他们的原创发明。这个指标衡量的是在系统尝试的多种方法中有多少能够通过过程奖励模型的质量检验。这就像检查学生尝试的多种解法中有几种不仅答案正确解题过程也很优秀。通过持续监测这些指标研究者发现了一个清晰的趋势随着训练进行系统的贪婪准确率确实在提升这说明它在使用已掌握方法方面越来越熟练。但探索准确率却在持续下降而且奖励探索度很快就达到了瓶颈。这意味着系统虽然在已有技能上越来越精进但开拓新方法的能力却在退化而且能够找到高质量解法的能力也停滞不前。这个发现让研究团队意识到单纯提升系统的已知技能并不足够关键是要维持它的学习新技能的能力。就像培养学生不仅要让他们掌握基础知识更要保持他们的创新思维和探索精神。进一步分析显示这种探索能力的衰退与系统的采样温度设置密切相关。采样温度就像是系统思维的活跃度高温度会让系统更愿意尝试不同的方法低温度则让系统倾向于使用熟悉的套路。研究者发现固定的温度设置无法适应系统能力的动态变化这就像给活力十足的孩子和沉稳的成年人用同样的教学方法显然不合适。基于这些观察研究团队提出了动态调节采样温度的策略。系统会根据当前的奖励探索度水平自动调整自己的思维活跃度。当发现探索能力下降时系统会适当提高温度鼓励自己尝试更多新方法。当探索效果良好时则保持相对稳定的温度。这就像一个善于自我调节的学生知道什么时候应该大胆创新什么时候应该稳扎稳打。五、M-STAR完整框架的惊人表现将所有这些发现和改进整合在一起研究团队构建了他们称之为M-STAR多模态自我进化推理训练的完整框架。这个框架就像是为AI系统量身定制的智能学习系统不仅知道该学什么、怎么学还能实时调整学习策略。M-STAR框架的核心特色在于它的自适应性。传统的AI训练就像按照固定课表上课不管学生的接受程度如何都按部就班进行。而M-STAR则像一位经验丰富的私人教师能够根据学生的学习状态随时调整教学策略。当系统的探索能力下降时框架会自动提升系统的思维活跃度鼓励它尝试新的解题思路。当系统表现稳定时则保持当前的学习节奏。为了验证这个框架的通用性研究团队在三个不同规模的AI模型上进行了测试包括8B参数的MiniCPM-V-2.5、4B参数的Phi-3.5-Vision和2B参数的InternVL2。这就像在不同年龄段的学生身上验证同一套教学方法的效果。结果令人振奋M-STAR框架在所有测试模型上都实现了显著的性能提升。以最大的模型MiniCPM-V-2.5为例在MathVista测试集上的准确率从基础的52.6%提升到了59.5%提升幅度达到6.9个百分点。这个提升幅度在AI研究领域是相当显著的相当于让一个考试成绩为70分的学生提升到77分这种进步对于复杂推理任务来说是非常可观的。更重要的是这种改进不仅体现在单一测试上而是在多个不同的评测基准上都表现出色。研究团队在五个不同的多模态推理任务上进行了测试包括数学视觉推理、多步骤思维链推理、综合推理能力评估等等。M-STAR框架在所有这些测试中都取得了一致性的提升证明了其改进的普遍性和稳健性。特别值得注意的是规模较大的模型从这个框架中获益更多。8B参数的模型平均提升了3.9个百分点而2B参数的模型提升幅度相对较小只有0.5个百分点。这个现象类似于同样的教学方法对基础更好的学生效果更明显而对基础薄弱的学生需要更多的基础训练。六、深度剖析动态调节的核心机制M-STAR框架最具创新性的部分是它的动态温度调节机制。这个机制的工作原理就像一个智能的学习顾问能够实时监测AI系统的学习状态并据此调整学习策略。具体来说系统每进行两轮训练后就会对自己的表现进行一次体检。这个体检的核心指标就是前面提到的奖励探索度即系统在尝试多种解法时有多少能够达到高质量标准。如果这个指标下降说明系统的创新能力在衰退此时系统会自动提高采样温度从原来的保守策略转向更加大胆的尝试。这种调节的效果在实验数据中得到了清晰的体现。研究团队绘制了训练过程中各项指标的变化曲线发现使用动态调节的系统表现出了完全不同的学习轨迹。在固定温度的情况下系统的探索能力会单调下降最终陷入思维僵化。而采用动态调节的系统其探索能力虽然也会有所波动但总体保持在较高水平避免了探索能力的彻底衰退。更有意思的是研究团队发现不同的AI模型需要不同的温度调节策略。较大的模型如8B参数的MiniCPM-V-2.5表现出更强的适应性能够在较宽的温度范围内保持良好性能。而较小的模型如2B参数的InternVL2则对温度变化更加敏感需要更精细的调节。这就像不同性格的学生需要不同的激励方式有些学生适应性强有些则需要更加细心的引导。动态调节机制的另一个重要发现是时机的重要性。研究显示在训练的不同阶段应用温度调节会产生不同的效果。在训练初期系统的基础能力尚未稳定此时激进的温度调节可能会导致学习不稳定。而在训练中后期当系统基础能力相对稳定时适度提升温度反而能够有效防止思维僵化。七、跨领域验证与普适性分析为了验证M-STAR框架的普适性研究团队进行了广泛的跨领域测试。他们选择了五个不同特色的多模态推理任务每个任务都代表了不同的挑战类型。首先是MathVista这是一个综合性的数学视觉推理基准包含了几何问题、图表分析、数学应用题等多种类型。在这个最具挑战性的测试中M-STAR框架表现最为出色三个测试模型的平均提升幅度都超过了5个百分点。这就像一个全能选手在综合性竞赛中展现出的优势。接下来是M3CoT专门测试多步骤推理能力。这类任务要求系统不仅要理解图像内容还要进行多轮逻辑推理才能得出答案。M-STAR在这个测试中同样表现优异证明了其在复杂推理链处理上的优势。MMStar和MMBench则侧重于测试系统的综合理解和推理能力涉及更多实际应用场景。在这两个测试中M-STAR框架也取得了一致性的改进显示出良好的实用性潜力。最后是AI2D这是一个专门针对科学图表理解的测试。这个测试要求系统能够理解复杂的科学示意图并回答相关问题。虽然在这个特定领域M-STAR的提升幅度相对较小但仍然保持了正向的改进趋势。通过这些跨领域测试研究团队发现了一个有趣的规律M-STAR框架在需要复杂推理的任务上表现更加突出而在主要依赖视觉感知的任务上提升相对有限。这个发现符合框架的设计初衷因为M-STAR主要针对的就是推理能力的提升而不是基础的视觉感知能力。更深层的分析显示不同规模的模型从M-STAR框架中获益的程度也不相同。较大的模型能够更好地利用框架提供的学习策略而较小的模型由于基础能力限制提升空间相对有限。这个现象提醒我们任何训练方法都不是万能的需要与模型的基础能力相匹配。说到底这项研究最大的价值不仅在于提出了一个有效的训练框架更在于为AI自学习领域提供了系统性的方法论。研究团队通过严谨的实验设计和深入的机制分析揭示了多模态AI系统自我进化过程中的关键规律。这些发现不仅对当前的研究有直接指导意义也为未来更高级的AI自学习系统奠定了理论基础。从更广阔的视角来看这项研究代表了AI发展的一个重要趋势从依赖外部标注数据的被动学习向自主探索知识的主动学习转变。就像人类从依赖老师教导逐渐发展出独立思考能力一样AI系统也在朝着更加自主、更加智能的方向发展。M-STAR框架的成功证明通过精心设计的自学机制AI系统确实能够在有限的监督下实现能力的显著提升。这种进步对普通人的生活可能带来深远影响。未来的AI助手可能会更加智能不仅能够理解我们的语言指令还能够看懂复杂的图表、图形和视觉信息并基于这些信息进行深度分析和推理。无论是帮助学生解决数学几何题还是协助专业人士分析复杂的技术图表这样的AI系统都将大大提升我们的工作效率和生活质量。当然这项研究也提出了一些值得思考的问题。比如随着AI系统自学能力的增强我们如何确保它们学到的是正确的知识和推理方式如何在提升AI自主性的同时保持人类的控制和监督这些问题需要整个AI研究社区继续深入探索。有兴趣深入了解这项研究细节的读者可以通过论文编号arXiv:2412.17451v3查询完整的学术论文其中包含了更详细的技术实现和实验数据。QAQ1M-STAR框架是什么AM-STAR是香港科技大学等机构开发的多模态自我进化推理训练框架。它就像为AI系统设计的智能学习系统能让机器通过自学不断提升处理图像和推理的能力而不依赖大量人工标注的训练数据。Q2为什么AI需要自我进化训练能力A因为多模态推理需要同时处理图像和逻辑思维但这类高质量训练数据非常稀缺。就像既会画画又会解数学题的全能老师很难找一样让AI通过自学来突破数据瓶颈是解决这个问题的关键途径。Q3M-STAR框架的效果如何A在多个测试中表现优异比如在MathVista数学推理测试中AI准确率从52.6%提升到59.5%。这种6-7个百分点的提升在AI研究中是相当显著的进步相当于学生考试成绩有了质的飞跃。