尧图网页设计 
MTPLX Forge 教程:从 Hugging Face 仓库构建、验证并发布你自己的 MTP 模型【免费下载链接】MTPLXThe fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.项目地址: https://gitcode.com/gh_mirrors/mt/MTPLXMTPLX Forge 是 MTPLX 内置的一体化 MTP 模型工厂:它把一个 Hugging Face 仓库(或本地 checkpoint)自动转换成 MTPLX 可运行的 MTP(多词元预测)模型,在你的 Mac 上实测验证速度与精确性,最后可以选择发布回 Hugging Face 与社区分享。无论你是想给自己的小模型加上投机解码,还是想复刻官方 Qwen 3.8 系列的速度包,Forge 都是完整且诚实的路径——它先测量再下结论,而不是假设加速一定成立。MTPLX Forge 是什么?为什么需要它MTPLX 运行模型时使用的核心机制是 MTP 投机解码:模型用自己的 MTP 头提前起草多个词元,再用一次批量前向验证,通过精确拒绝采样提交词元,解码速度约为普通自回归的两倍。但一个模型的 MTP 头必须与它自己的主干权重匹配——MTPLX 不支持把任意来源的 MTP 侧车挂到任意 MLX 主干上。Forge 解决的正是这个问题:从原始源 checkpoint 出发,走完 转换 → 校准 → 验证 → 品牌化 的完整流程,产出一个带完整溯源信息、可在你的硬件上自证性能的 MTP 模型。一键上手:7 个 forge 子命令清单Forge 在 macOS 应用中是向导式界面,在终端中则是mtplx forge子命令家族(实现见 mtplx/commands/forge.py,参数定义见 mtplx/cli.py):子命令作用一句话理解forge probe source不下载权重就探测源仓库先体检,再动手forge build主流水线:下载 → 转换 → 校准 → 验证 → 品牌化核心工厂forge verify path对已有本地模型单独跑验证只验不建forge inspect path读取产物的mtplx_runtime.json看体检报告forge publish上传产物到 Hugging Face发布分享forge discover按下载量列出社区 MTPLX 模型逛模型墙forge cancel run-id取消进行中的 build/publish紧急刹车完整的进度文件契约(每个阶段写哪些 JSON、字段含义)记录在 docs/FORGE_BACKEND_CONTRACT.md。第 1 步:用 forge probe 检测源仓库是否可构建在动手之前,先用 probe 对源做一次轻探测。它只读取仓库元数据和配置文件,判断三件事:源格式分类:BF16 原生、MLX affine、AutoAWQ、compressed-tensors(AWQ/NVFP4)、HF/vLLM 兼容等是否包含真实 MTP 权重:没有 MTP 头会直接给出no_mtp_heads结论——Forge 不能凭空创造缺失的训练好的 MTP 权重体积与峰值内存估算:帮你提前判断磁盘和内存是否够mtplx forge probe Youssofal/Qwen3.6-35B-A3B --jsonprobe 会明确拒绝两种情况:GGUF 文件(Forge V1 只产出 MLX/safetensors 产物),以及已经是 MTPLX 品牌的产物(提示你无需再构建)。第 2 步:forge build 构建本地 MTP 产物确认可构建后,build 是一条完整的流水线。以构建 Flash Next Quality 包为例:mtplx forge build \ --repo Qwen/Qwen3.8-Flash-Next \ --out /data/forge-runs \ --run-id quality \ --branded-name Qwen3.8-Flash-Next-MTPLX-Optimized-Quality \ --recipe flash-next-optimized-quality \ --verification full-load几个关键参数:--recipe:可以是 JSON 配方,也可以是内置命名预设,如flash-next-optimized-speed(Q8 注意力保 Q8)和flash-next-optimized-quality(Q8/g64 主干、Q4/g32 n-gram、结构性张量保持 BF16)--verification full-load(默认):真实加载并做服务级验证,通过后才会盖上verified_on验证章;streaming只做磁盘审计,不授予 verified 状态--max:验证期间锁定风扇到最大,保证计时干净--dtype auto:M1/M2 自动选 FP16(这两款芯片没有原生 BF16),M3 及以上选 BF16每个阶段的进度都写成 run 目录下的 JSON 文件(download.json、convert.json、calibrate.json、verify.json、forge.json),可随时查看,断点也可保留。第 3 步:阅读验证报告——Forge 最诚实的部分构建完成后,Forge 会在你的硬件上实测 AR 基线与每个 MTP 深度的对比,写入verify.json。README 中给出的真实结论示例:Depth 1 is fastest: 227.1 to 296.1, 1.30x每一行验证数据都包含:深度(0 为自回归基线)、实测 tok/s、相对 AR 的加速倍数、逐位置接受率。如果某个深度没赢过基线,Forge 会如实告诉你适配器没有帮助,而不是硬盖一个加速章。构建成功的产物会写入forge.json和brand.json,其中mtplx_runtime.json包含完整的forge_provenance溯源块:源仓库、源 commit SHA、源格式、配方、构建时间与 MTPLX 版本。之后随时可以用:mtplx forge inspect /path/to/model --json第 4 步:forge publish 发布到 Hugging Face验证通过的产物可以发布回 Hugging Face 与社区共享:mtplx forge publish \ --path /data/models/Qwen3.8-Flash-Next-MTPLX-Optimized-Quality \ --repo yourname/Qwen3.8-Flash-Next-MTPLX-Optimized-Quality \ --visibility public \ --license apache-2.0 \ --out /data/forge-pub \ --run-id pub1 \ --token stdin安全设计值得留意:Hugging Face token 永远不走命令行参数——--token stdin表示 token 通过子进程标准输入传入,后端只读一行、绝不记录日志。发布进度写入publish.json(已上传字节、速度、仓库地址、commit 修订号),发布成功后溯源块会追加published_to_hf记录。不想发布也没关系:用forge discover --query MTPLX --limit 100按下载量浏览社区已发布的 MTPLX 品牌模型,直接拉取使用。避坑清单:3 个最常见的构建失败配方里写了mtp_policy: requantize被拒绝——这是 Forge 的硬规则:量化 MTP 权重会把 MoE 接受率从 79–85% 打崩到 5–11%。想强行继续必须显式传--allow-degraded-mtp确认知情。源仓库是只有 config 没有权重——probe 会提示你指向完整 checkpoint;量化源也不能当 Flash Next 质量包的源(量化无法还原原始 BF16 权重)。小内存 Mac 想建 256 GB 级大模型——可以用--verification streaming完成构建和磁盘审计,把产物拷到大内存 Mac 后再用mtplx forge verify path --stamp显式提升为已验证状态。Flash Next Quality 包的完整构建细节(磁盘预算、流式审计规则、组件级一致性测试)见 docs/flash-next-quality-pack.md。总结MTPLX Forge 把做一个可用的 MTP 模型压缩成了一条可验证的流水线:probe 判断可行性,build 完成转换与校准,verify 用真实硬件数据说话,publish 一键分享。它拒绝含糊其辞——没有加速就不盖章,没有真实 MTP 权重就不构建。如果你只想快速上手,记住三个命令就够:mtplx forge probe、mtplx forge build --recipe 预设、mtplx forge publish --token stdin。【免费下载链接】MTPLXThe fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.项目地址: https://gitcode.com/gh_mirrors/mt/MTPLX创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 MTPLX Forge 教程:从 Hugging Face 仓库构建、验证并发布你自己的 MTP 模型
MTPLX Forge 教程:从 Hugging Face 仓库构建、验证并发布你自己的 MTP 模型【免费下载链接】MTPLXThe fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.项目地址: https://gitcode.com/gh_mirrors/mt/MTPLXMTPLX Forge 是 MTPLX 内置的一体化 MTP 模型工厂:它把一个 Hugging Face 仓库(或本地 checkpoint)自动转换成 MTPLX 可运行的 MTP(多词元预测)模型,在你的 Mac 上实测验证速度与精确性,最后可以选择发布回 Hugging Face 与社区分享。无论你是想给自己的小模型加上投机解码,还是想复刻官方 Qwen 3.8 系列的速度包,Forge 都是完整且诚实的路径——它先测量再下结论,而不是假设加速一定成立。MTPLX Forge 是什么?为什么需要它MTPLX 运行模型时使用的核心机制是 MTP 投机解码:模型用自己的 MTP 头提前起草多个词元,再用一次批量前向验证,通过精确拒绝采样提交词元,解码速度约为普通自回归的两倍。但一个模型的 MTP 头必须与它自己的主干权重匹配——MTPLX 不支持把任意来源的 MTP 侧车挂到任意 MLX 主干上。Forge 解决的正是这个问题:从原始源 checkpoint 出发,走完 转换 → 校准 → 验证 → 品牌化 的完整流程,产出一个带完整溯源信息、可在你的硬件上自证性能的 MTP 模型。一键上手:7 个 forge 子命令清单Forge 在 macOS 应用中是向导式界面,在终端中则是mtplx forge子命令家族(实现见 mtplx/commands/forge.py,参数定义见 mtplx/cli.py):子命令作用一句话理解forge probe source不下载权重就探测源仓库先体检,再动手forge build主流水线:下载 → 转换 → 校准 → 验证 → 品牌化核心工厂forge verify path对已有本地模型单独跑验证只验不建forge inspect path读取产物的mtplx_runtime.json看体检报告forge publish上传产物到 Hugging Face发布分享forge discover按下载量列出社区 MTPLX 模型逛模型墙forge cancel run-id取消进行中的 build/publish紧急刹车完整的进度文件契约(每个阶段写哪些 JSON、字段含义)记录在 docs/FORGE_BACKEND_CONTRACT.md。第 1 步:用 forge probe 检测源仓库是否可构建在动手之前,先用 probe 对源做一次轻探测。它只读取仓库元数据和配置文件,判断三件事:源格式分类:BF16 原生、MLX affine、AutoAWQ、compressed-tensors(AWQ/NVFP4)、HF/vLLM 兼容等是否包含真实 MTP 权重:没有 MTP 头会直接给出no_mtp_heads结论——Forge 不能凭空创造缺失的训练好的 MTP 权重体积与峰值内存估算:帮你提前判断磁盘和内存是否够mtplx forge probe Youssofal/Qwen3.6-35B-A3B --jsonprobe 会明确拒绝两种情况:GGUF 文件(Forge V1 只产出 MLX/safetensors 产物),以及已经是 MTPLX 品牌的产物(提示你无需再构建)。第 2 步:forge build 构建本地 MTP 产物确认可构建后,build 是一条完整的流水线。以构建 Flash Next Quality 包为例:mtplx forge build \ --repo Qwen/Qwen3.8-Flash-Next \ --out /data/forge-runs \ --run-id quality \ --branded-name Qwen3.8-Flash-Next-MTPLX-Optimized-Quality \ --recipe flash-next-optimized-quality \ --verification full-load几个关键参数:--recipe:可以是 JSON 配方,也可以是内置命名预设,如flash-next-optimized-speed(Q8 注意力保 Q8)和flash-next-optimized-quality(Q8/g64 主干、Q4/g32 n-gram、结构性张量保持 BF16)--verification full-load(默认):真实加载并做服务级验证,通过后才会盖上verified_on验证章;streaming只做磁盘审计,不授予 verified 状态--max:验证期间锁定风扇到最大,保证计时干净--dtype auto:M1/M2 自动选 FP16(这两款芯片没有原生 BF16),M3 及以上选 BF16每个阶段的进度都写成 run 目录下的 JSON 文件(download.json、convert.json、calibrate.json、verify.json、forge.json),可随时查看,断点也可保留。第 3 步:阅读验证报告——Forge 最诚实的部分构建完成后,Forge 会在你的硬件上实测 AR 基线与每个 MTP 深度的对比,写入verify.json。README 中给出的真实结论示例:Depth 1 is fastest: 227.1 to 296.1, 1.30x每一行验证数据都包含:深度(0 为自回归基线)、实测 tok/s、相对 AR 的加速倍数、逐位置接受率。如果某个深度没赢过基线,Forge 会如实告诉你适配器没有帮助,而不是硬盖一个加速章。构建成功的产物会写入forge.json和brand.json,其中mtplx_runtime.json包含完整的forge_provenance溯源块:源仓库、源 commit SHA、源格式、配方、构建时间与 MTPLX 版本。之后随时可以用:mtplx forge inspect /path/to/model --json第 4 步:forge publish 发布到 Hugging Face验证通过的产物可以发布回 Hugging Face 与社区共享:mtplx forge publish \ --path /data/models/Qwen3.8-Flash-Next-MTPLX-Optimized-Quality \ --repo yourname/Qwen3.8-Flash-Next-MTPLX-Optimized-Quality \ --visibility public \ --license apache-2.0 \ --out /data/forge-pub \ --run-id pub1 \ --token stdin安全设计值得留意:Hugging Face token 永远不走命令行参数——--token stdin表示 token 通过子进程标准输入传入,后端只读一行、绝不记录日志。发布进度写入publish.json(已上传字节、速度、仓库地址、commit 修订号),发布成功后溯源块会追加published_to_hf记录。不想发布也没关系:用forge discover --query MTPLX --limit 100按下载量浏览社区已发布的 MTPLX 品牌模型,直接拉取使用。避坑清单:3 个最常见的构建失败配方里写了mtp_policy: requantize被拒绝——这是 Forge 的硬规则:量化 MTP 权重会把 MoE 接受率从 79–85% 打崩到 5–11%。想强行继续必须显式传--allow-degraded-mtp确认知情。源仓库是只有 config 没有权重——probe 会提示你指向完整 checkpoint;量化源也不能当 Flash Next 质量包的源(量化无法还原原始 BF16 权重)。小内存 Mac 想建 256 GB 级大模型——可以用--verification streaming完成构建和磁盘审计,把产物拷到大内存 Mac 后再用mtplx forge verify path --stamp显式提升为已验证状态。Flash Next Quality 包的完整构建细节(磁盘预算、流式审计规则、组件级一致性测试)见 docs/flash-next-quality-pack.md。总结MTPLX Forge 把做一个可用的 MTP 模型压缩成了一条可验证的流水线:probe 判断可行性,build 完成转换与校准,verify 用真实硬件数据说话,publish 一键分享。它拒绝含糊其辞——没有加速就不盖章,没有真实 MTP 权重就不构建。如果你只想快速上手,记住三个命令就够:mtplx forge probe、mtplx forge build --recipe 预设、mtplx forge publish --token stdin。【免费下载链接】MTPLXThe fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.项目地址: https://gitcode.com/gh_mirrors/mt/MTPLX创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考