尧图网页设计 
过去半年我陆续和几位做AI绘画工具的朋友聊过。大家的状态非常一致模型参数加了训练数据加了显卡也加了但生成效果并没有继续往上走。有人怀疑文生图是不是已经撞到天花板有人则把精力转向了推理加速和工程优化。直到最近看到一个说法——文生图领域的Scaling里还存在一个被低估的新变量。提出这个观察视角的是字节的Seed团队。这个说法一听就有流量但我不建议把它当成一句简单的结论来传播。我更愿意把它理解成一个信号文生图模型的发展正在从“继续堆参数、堆数据”转向“重新审视数据与计算的组织方式”。Scaling这个逻辑本身没有失效变的是我们沿着哪个维度去Scaling。这篇文章想做的事情很明确把这个“新变量”可能是什么、为什么在这个时间点出现、对普通开发者和创作者意味着什么以及我们自己怎么动手验证一次讲清楚。先给一个我自己的落点我更倾向于认为所谓新变量不是某一个具体算法而是把Scaling的重心从“模型参数”转向“数据与计算的组织方式”尤其是把推理阶段的计算也纳入可Scale的维度。1. 文生图进入Scaling深水区为什么还有“新变量”1.1 从“调模型”到“调系统”文生图研发范式的变化过去两年文生图模型的研究方式发生过三次明显切换。最早是“调结构”的阶段。大家把注意力放在模型架构上怎么设计扩散模型怎么引入Transformer怎么处理文本条件。那时候只要结构方向对了出图效果就能肉眼可见地提升技术社区里最热闹的讨论几乎都围绕“新架构”。Midjourney、Stable Diffusion这些产品快速跑出来靠的主要就是这波结构红利。接着是“调控制”的阶段。模型基本能出像样的图了但用户不满足开始要求“可控”。同一张人脸能不能保持物体的位置能不能指定画面的构图能不能按提示词来。于是ControlNet、LoRA、局部重绘、人像一致性这些技术冒了出来工作重点从模型结构转向了“如何让模型听指令”。这一阶段最大的变化是文生图从一个“生成玩具”变成了“内容生产工具”。现在这个阶段我把它称为“调系统”。单点技巧已经很难带来大幅提升真正的竞争力开始取决于一整套系统的配合数据从哪里来、怎么清洗、怎么配比、训练怎么调度、生成时怎么分配计算、效果怎么评估。这个阶段最像大语言模型前两年经历过的变化大家发现把模型做大只是其中一环真正决定上线效果的往往是数据管道和训练流程。如果只看模型名字你很难看出这些差异。但如果你同时跑过旧版本和新版本会明显感觉到进步不完全来自结构创新更多来自“整体流程变顺了”。这就是系统工程带来的增益它不像架构升级那么显眼却决定了模型的上限能走多远。1.2 标题里的“新变量”可能不是某个神秘密码先给一个基本判断在Scaling Law的语境里“变量”不是指一个神秘参数而是指一个可以被规模化、被系统化扩大的因素。过去大家最熟悉的是三个变量数据量、参数量、计算量。LLM界的经验是模型效果在大规模尺度上会随这三个量稳定提升。文生图领域的扩散模型也借鉴了这套思路但扩散模型的训练目标和语言模型不一样不能直接照搬。语言模型学的是“下一个词”的条件概率它对弱相关文本的容忍度相对高因为语言本身有较强的语义结构。扩散模型学的却是从文本到图像的“去噪映射”输入和输出之间必须高度对齐。一张图里有三个人caption里只写“a person”模型就会对“数量属性”失去敏感度描述里提到红色车图里却是蓝色车模型就会在颜色控制上变得含糊。所以所谓新变量更可能落在几个长期被忽略的环节上数据质量与配比、训练策略的效率、架构的容量利用率、推理阶段的计算分配。这些变量一直都存在只是过去没到需要认真对待它们的阶段。它们不是突然冒出来的“秘密武器”而是当基础结构问题解决之后剩下的那些“更难啃但真正决定上限”的因素。1.3 为什么是现在而不是更早文生图Scaling进入深水区背后有几个现实背景。第一公开的高质量图文数据正在被消耗。互联网上容易获取的图文数据已经被刷过好几轮。再想提升只能往更细的方向做清洗、去重、重写caption、跨语言配比。这些工作成本高见效慢但收益更确定。以前大家能靠“更多数据”堆上去现在这条路变窄了数据本身的“有效密度”开始成为焦点。第二算力成本依然高但大家对“训练效率”的容忍度在降低。过去一个实验跑几十万步大家愿意等现在更关心的是同样的算力能不能跑出更好的效果。模型训练不是过家家每一轮实验都是真金白银。这逼着团队重新设计训练过程而不是无脑加预算。第三生成端开始出现“推理时计算”的扩展空间。以前文生图模型是一个典型的“一次前向生成”输入提示词输出一张图过程不可控。现在越来越多工作开始研究生成多张候选图后如何重排、如何用奖励模型挑图、如何在潜在空间里迭代优化。这些方法把Scaling从训练阶段延伸到了推理阶段也就打开了一个新的“可扩展”维度。这三个背景叠加到一起会让“新变量”这个说法变得非常合理。它不是突然出现的一个新算法而是一组被此前忽视的结构性因素开始起主导作用。2. 文生图真正需要Scaling的可能不是“参数”而是这四层2.1 第一层数据规模背后的数据质量与配比如果只看“数据量”这一个变量很容易掉进一个陷阱以为数据越多效果越好。文生图和语言模型在这一点上差别很大。语言模型对弱相关文本的容忍度相对高因为语言本身有较强的语义结构但文生图模型学的是“文本-图像”的联合分布一旦出现大量图文错配、描述模糊、无意义细节模型会直接把错误关联学会。比较典型的例子是一张图里明明有三个人caption里只写“a person”或者描述里提到红色车图里却是蓝色车。这类低质量问题如果占比过高模型对属性的控制力就会变差。所以真正能被规模化提升的可能不是“原始数据量”而是“有效数据量”。这里有两个关键维度质量图文是否匹配、图像是否清晰、文字是否准确、是否存在水印和低质压缩痕迹。配比不同风格、不同物体类别、不同语言、不同分辨率的数据各占多少比例。字节Seed团队做中文文生图模型时对数据配比的敏感度应该会比纯英文团队更高。中文互联网的图文数据在数量上不少但干净程度、结构化和英文数据有差距需要花更多精力做清洗与重写。这个变量很容易被忽略因为它藏在训练日志里不像参数量那样可以直接比较。但对最终效果的影响很可能超过一次结构升级。你很难通过看模型文件大小判断一个模型好不好但训练数据是否干净会在生成“细粒度属性”时暴露无遗。2.2 第二层训练策略与计算效率数据准备好了后面就是“怎么练”的问题。扩散模型的大规模训练表面上就是“喂数据、算loss、回传梯度”但实际操作里学习率调度、batch size、梯度累积、EMA、混合精度、数据shuffle策略、训练时长每一个细节都会影响模型最终能学到什么。这几年行业里经常提的“训练效率”本质上是在解决同一件事在算力不变的前提下如何让模型在更少的迭代里看到更多有信息量的样本并且保持稳定收敛。这已经不完全是一个算法问题更是一个系统工程问题。我印象很深的一类讨论是“为什么同样的模型结构两个团队用不同训练策略最后效果差异很大”。原因往往 文生图Scaling新变量：从堆参数到重数据与计算组织
过去半年我陆续和几位做AI绘画工具的朋友聊过。大家的状态非常一致模型参数加了训练数据加了显卡也加了但生成效果并没有继续往上走。有人怀疑文生图是不是已经撞到天花板有人则把精力转向了推理加速和工程优化。直到最近看到一个说法——文生图领域的Scaling里还存在一个被低估的新变量。提出这个观察视角的是字节的Seed团队。这个说法一听就有流量但我不建议把它当成一句简单的结论来传播。我更愿意把它理解成一个信号文生图模型的发展正在从“继续堆参数、堆数据”转向“重新审视数据与计算的组织方式”。Scaling这个逻辑本身没有失效变的是我们沿着哪个维度去Scaling。这篇文章想做的事情很明确把这个“新变量”可能是什么、为什么在这个时间点出现、对普通开发者和创作者意味着什么以及我们自己怎么动手验证一次讲清楚。先给一个我自己的落点我更倾向于认为所谓新变量不是某一个具体算法而是把Scaling的重心从“模型参数”转向“数据与计算的组织方式”尤其是把推理阶段的计算也纳入可Scale的维度。1. 文生图进入Scaling深水区为什么还有“新变量”1.1 从“调模型”到“调系统”文生图研发范式的变化过去两年文生图模型的研究方式发生过三次明显切换。最早是“调结构”的阶段。大家把注意力放在模型架构上怎么设计扩散模型怎么引入Transformer怎么处理文本条件。那时候只要结构方向对了出图效果就能肉眼可见地提升技术社区里最热闹的讨论几乎都围绕“新架构”。Midjourney、Stable Diffusion这些产品快速跑出来靠的主要就是这波结构红利。接着是“调控制”的阶段。模型基本能出像样的图了但用户不满足开始要求“可控”。同一张人脸能不能保持物体的位置能不能指定画面的构图能不能按提示词来。于是ControlNet、LoRA、局部重绘、人像一致性这些技术冒了出来工作重点从模型结构转向了“如何让模型听指令”。这一阶段最大的变化是文生图从一个“生成玩具”变成了“内容生产工具”。现在这个阶段我把它称为“调系统”。单点技巧已经很难带来大幅提升真正的竞争力开始取决于一整套系统的配合数据从哪里来、怎么清洗、怎么配比、训练怎么调度、生成时怎么分配计算、效果怎么评估。这个阶段最像大语言模型前两年经历过的变化大家发现把模型做大只是其中一环真正决定上线效果的往往是数据管道和训练流程。如果只看模型名字你很难看出这些差异。但如果你同时跑过旧版本和新版本会明显感觉到进步不完全来自结构创新更多来自“整体流程变顺了”。这就是系统工程带来的增益它不像架构升级那么显眼却决定了模型的上限能走多远。1.2 标题里的“新变量”可能不是某个神秘密码先给一个基本判断在Scaling Law的语境里“变量”不是指一个神秘参数而是指一个可以被规模化、被系统化扩大的因素。过去大家最熟悉的是三个变量数据量、参数量、计算量。LLM界的经验是模型效果在大规模尺度上会随这三个量稳定提升。文生图领域的扩散模型也借鉴了这套思路但扩散模型的训练目标和语言模型不一样不能直接照搬。语言模型学的是“下一个词”的条件概率它对弱相关文本的容忍度相对高因为语言本身有较强的语义结构。扩散模型学的却是从文本到图像的“去噪映射”输入和输出之间必须高度对齐。一张图里有三个人caption里只写“a person”模型就会对“数量属性”失去敏感度描述里提到红色车图里却是蓝色车模型就会在颜色控制上变得含糊。所以所谓新变量更可能落在几个长期被忽略的环节上数据质量与配比、训练策略的效率、架构的容量利用率、推理阶段的计算分配。这些变量一直都存在只是过去没到需要认真对待它们的阶段。它们不是突然冒出来的“秘密武器”而是当基础结构问题解决之后剩下的那些“更难啃但真正决定上限”的因素。1.3 为什么是现在而不是更早文生图Scaling进入深水区背后有几个现实背景。第一公开的高质量图文数据正在被消耗。互联网上容易获取的图文数据已经被刷过好几轮。再想提升只能往更细的方向做清洗、去重、重写caption、跨语言配比。这些工作成本高见效慢但收益更确定。以前大家能靠“更多数据”堆上去现在这条路变窄了数据本身的“有效密度”开始成为焦点。第二算力成本依然高但大家对“训练效率”的容忍度在降低。过去一个实验跑几十万步大家愿意等现在更关心的是同样的算力能不能跑出更好的效果。模型训练不是过家家每一轮实验都是真金白银。这逼着团队重新设计训练过程而不是无脑加预算。第三生成端开始出现“推理时计算”的扩展空间。以前文生图模型是一个典型的“一次前向生成”输入提示词输出一张图过程不可控。现在越来越多工作开始研究生成多张候选图后如何重排、如何用奖励模型挑图、如何在潜在空间里迭代优化。这些方法把Scaling从训练阶段延伸到了推理阶段也就打开了一个新的“可扩展”维度。这三个背景叠加到一起会让“新变量”这个说法变得非常合理。它不是突然出现的一个新算法而是一组被此前忽视的结构性因素开始起主导作用。2. 文生图真正需要Scaling的可能不是“参数”而是这四层2.1 第一层数据规模背后的数据质量与配比如果只看“数据量”这一个变量很容易掉进一个陷阱以为数据越多效果越好。文生图和语言模型在这一点上差别很大。语言模型对弱相关文本的容忍度相对高因为语言本身有较强的语义结构但文生图模型学的是“文本-图像”的联合分布一旦出现大量图文错配、描述模糊、无意义细节模型会直接把错误关联学会。比较典型的例子是一张图里明明有三个人caption里只写“a person”或者描述里提到红色车图里却是蓝色车。这类低质量问题如果占比过高模型对属性的控制力就会变差。所以真正能被规模化提升的可能不是“原始数据量”而是“有效数据量”。这里有两个关键维度质量图文是否匹配、图像是否清晰、文字是否准确、是否存在水印和低质压缩痕迹。配比不同风格、不同物体类别、不同语言、不同分辨率的数据各占多少比例。字节Seed团队做中文文生图模型时对数据配比的敏感度应该会比纯英文团队更高。中文互联网的图文数据在数量上不少但干净程度、结构化和英文数据有差距需要花更多精力做清洗与重写。这个变量很容易被忽略因为它藏在训练日志里不像参数量那样可以直接比较。但对最终效果的影响很可能超过一次结构升级。你很难通过看模型文件大小判断一个模型好不好但训练数据是否干净会在生成“细粒度属性”时暴露无遗。2.2 第二层训练策略与计算效率数据准备好了后面就是“怎么练”的问题。扩散模型的大规模训练表面上就是“喂数据、算loss、回传梯度”但实际操作里学习率调度、batch size、梯度累积、EMA、混合精度、数据shuffle策略、训练时长每一个细节都会影响模型最终能学到什么。这几年行业里经常提的“训练效率”本质上是在解决同一件事在算力不变的前提下如何让模型在更少的迭代里看到更多有信息量的样本并且保持稳定收敛。这已经不完全是一个算法问题更是一个系统工程问题。我印象很深的一类讨论是“为什么同样的模型结构两个团队用不同训练策略最后效果差异很大”。原因往往