尧图网页设计 
面壁智能与 OpenBMB 在 9 月上旬开源了端侧语言模型 MiniCPM5-2B。据多家媒体报道该模型在 Artificial Analysis 榜单上以 23 分位列全球 4B 以下开源模型首位超过了一些参数规模更大的模型。对普通开发者来说比榜单第一更值得看的是一个 2B 的模型现在能干什么、在你自己的机器上怎么跑起来。这批小模型本质变化在哪先说事实。据官方 GitHub README 和技术文章整理MiniCPM5-2B 的核心参数是这样的总参数量约 25.2 亿2,516,756,480采用标准 Llama 架构的稠密 Transformer42 层注意力GQA16 个 Query 头 / 2 个 KV 头上下文长度原生 131,072 Token开源协议Apache 2.0可商用发布时间2026 年 9 月 7 日是 MiniCPM5 系列继 5 月 1B 版本后的第二款模型。它延续了 1B 版本的训练配方只是把规模放大到 2B定位是给能承受更大部署占用、换取更强能力的用户。效率是这一轮的真正看点而不是分数。小模型过去长期是能塞进去但不好用占用小可一到多步推理、工具调用就掉链子。这轮模型的变化在于把训练重点放在了代码推理、数学推理、长文本理解、工具调用和 Agent 任务上——据官方说明后训练阶段先做深度思考 SFT再训练数学、代码、Agent、写作等专项 RL 教师模型最后用在线策略蒸馏OPD把多个教师合并回一个发布模型。官方称 RL OPD 让推理与通用能力平均提升 10.96 分Agent 能力提升 6.96 分。没变的是小模型的短板该在还得在。2B 的知识密度再高也扛不住需要最新知识、超长链路推理的任务。端侧模型的定位从来不是替代云端大模型而是把低延迟、离线可用、数据不出设备那部分任务从云端抢回来。有一点要打个问号据报道这个模型在 AA 榜单上的分数在不同时间点的报道里数值并不一致早期有报道写 17 分近期报道写 23 分也有技术社区指出评测口径与模型版本经过多次迭代。同时官方公布的 53.9 分是对比集里的平均分属于发布方自测结果第三方独立复测尚未大规模出现。我的建议很直接榜单分数当参考不当结论。真正决定你用不用它的是你自己业务里的那批样本跑出来的结果。怎么部署三条路官方 README 给了三种主流部署方式选哪种取决于你的场景。1vLLM——服务端通用选择pipinstallvllm0.21vllm serve openbmb/MiniCPM5-2B--port80002SGLang——工具调用场景官方推荐pipinstallsglang[srt]0.5.16python-msglang.launch_server\--model-path openbmb/MiniCPM5-2B\--port30000\--tool-call-parser minicpm5 这个--tool-call-parser minicpm5是个关键。模型输出的工具调用是 XML 风格SGLang 内置的解析器会把它转成 OpenAI 兼容的tool_calls格式现有 Agent 框架基本可以直接对接不用自己写适配层。 **3Transformers——快速验证**python from transformersimportAutoModelForCausalLM, AutoTokenizer model_idopenbmb/MiniCPM5-2BtokenizerAutoTokenizer.from_pretrained(model_id)modelAutoModelForCausalLM.from_pretrained(model_id,torch_dtypeauto,device_mapauto)messages[{role:user,content:用一句话解释什么是端侧模型。}]inputstokenizer.apply_chat_template(messages,tokenizeTrue,add_generation_promptTrue,enable_thinkingTrue,# 开启深度思考模式return_dictTrue,return_tensorspt,).to(model.device)outputsmodel.generate(**inputs,max_new_tokens128)print(tokenizer.decode(outputs[0][inputs[input_ids].shape[-1]:],skip_special_tokensTrue))注意transformers需要 5.6 以上版本官方推荐的采样参数是temperature1.0, top_p0.95。另外官方还发布了约 0.3B 的投机解码草稿模型 MiniCPM5-2B-DSpark在 SGLang 里通过--speculative-algorithm DSPARK启用。版本怎么选、坑在哪Hugging Face 上提供了多个格式对应不同硬件版本适用场景MiniCPM5-2B (BF16)NVIDIA GPU 服务端部署vLLM/SGLang 首选MiniCPM5-2B-GGUFllama.cpp 生态CPU 或低显存设备MiniCPM5-2B-MLXApple Silicon Mac 本地运行MiniCPM5-2B-GPTQ量化后的 GPU 部署降低显存占用MiniCPM5-2B-SFT / Midtrain / Base二次训练、研究对比用的中间检查点MiniCPM5-2B-DSpark投机解码草稿模型配主模型使用几个实际会踩的点显存要自己算。官方 README 没给具体显存数字。按 25 亿参数估算BF16 权重大约 5GB加上 KV Cache 后消费级显卡能跑量化版本可以进一步下沉到 CPU 或低显存设备具体占用取决于量化位宽和上下文长度。别照着2B 很小就以为随便什么设备都能跑满 128K 上下文。动手前先用自己样本测。官方自测分数好看但你的任务分布未必一样尤其是工具调用稳定性、长文摘要这类要反复跑的场景。国内下载走 ModelScope。魔搭社区同步了全部版本比直连 Hugging Face 稳。想清楚端云分工。比较务实的分法是端侧做意图识别、简单问答、本地文档摘要、工具调用的路由与参数抽取、隐私敏感的预处理云端做复杂多步推理、长篇生成、需要最新知识的问答。这样端云两边的接口都走 OpenAI 兼容规范路由层才好统一维护。模型一起开源的还有训练数据和中间检查点包括约 50 万条 Agent 训练样本和 8 万多条 RL 样本这对想复现或做二次训练的团队价值不小。小模型这条线的意义不是能不能替代大模型而是把一部分任务从云端拿回本地。你会把哪些任务放到端侧跑评论区聊聊。本文信息来自 OpenBMB 官方 GitHub README、Hugging Face 模型页及公开报道评测数据为发布方自测结果第三方复测尚待补充实际选型建议用自有样本验证。 MiniCPM5-2B开源：2B端侧模型怎么部署、怎么选版本
面壁智能与 OpenBMB 在 9 月上旬开源了端侧语言模型 MiniCPM5-2B。据多家媒体报道该模型在 Artificial Analysis 榜单上以 23 分位列全球 4B 以下开源模型首位超过了一些参数规模更大的模型。对普通开发者来说比榜单第一更值得看的是一个 2B 的模型现在能干什么、在你自己的机器上怎么跑起来。这批小模型本质变化在哪先说事实。据官方 GitHub README 和技术文章整理MiniCPM5-2B 的核心参数是这样的总参数量约 25.2 亿2,516,756,480采用标准 Llama 架构的稠密 Transformer42 层注意力GQA16 个 Query 头 / 2 个 KV 头上下文长度原生 131,072 Token开源协议Apache 2.0可商用发布时间2026 年 9 月 7 日是 MiniCPM5 系列继 5 月 1B 版本后的第二款模型。它延续了 1B 版本的训练配方只是把规模放大到 2B定位是给能承受更大部署占用、换取更强能力的用户。效率是这一轮的真正看点而不是分数。小模型过去长期是能塞进去但不好用占用小可一到多步推理、工具调用就掉链子。这轮模型的变化在于把训练重点放在了代码推理、数学推理、长文本理解、工具调用和 Agent 任务上——据官方说明后训练阶段先做深度思考 SFT再训练数学、代码、Agent、写作等专项 RL 教师模型最后用在线策略蒸馏OPD把多个教师合并回一个发布模型。官方称 RL OPD 让推理与通用能力平均提升 10.96 分Agent 能力提升 6.96 分。没变的是小模型的短板该在还得在。2B 的知识密度再高也扛不住需要最新知识、超长链路推理的任务。端侧模型的定位从来不是替代云端大模型而是把低延迟、离线可用、数据不出设备那部分任务从云端抢回来。有一点要打个问号据报道这个模型在 AA 榜单上的分数在不同时间点的报道里数值并不一致早期有报道写 17 分近期报道写 23 分也有技术社区指出评测口径与模型版本经过多次迭代。同时官方公布的 53.9 分是对比集里的平均分属于发布方自测结果第三方独立复测尚未大规模出现。我的建议很直接榜单分数当参考不当结论。真正决定你用不用它的是你自己业务里的那批样本跑出来的结果。怎么部署三条路官方 README 给了三种主流部署方式选哪种取决于你的场景。1vLLM——服务端通用选择pipinstallvllm0.21vllm serve openbmb/MiniCPM5-2B--port80002SGLang——工具调用场景官方推荐pipinstallsglang[srt]0.5.16python-msglang.launch_server\--model-path openbmb/MiniCPM5-2B\--port30000\--tool-call-parser minicpm5 这个--tool-call-parser minicpm5是个关键。模型输出的工具调用是 XML 风格SGLang 内置的解析器会把它转成 OpenAI 兼容的tool_calls格式现有 Agent 框架基本可以直接对接不用自己写适配层。 **3Transformers——快速验证**python from transformersimportAutoModelForCausalLM, AutoTokenizer model_idopenbmb/MiniCPM5-2BtokenizerAutoTokenizer.from_pretrained(model_id)modelAutoModelForCausalLM.from_pretrained(model_id,torch_dtypeauto,device_mapauto)messages[{role:user,content:用一句话解释什么是端侧模型。}]inputstokenizer.apply_chat_template(messages,tokenizeTrue,add_generation_promptTrue,enable_thinkingTrue,# 开启深度思考模式return_dictTrue,return_tensorspt,).to(model.device)outputsmodel.generate(**inputs,max_new_tokens128)print(tokenizer.decode(outputs[0][inputs[input_ids].shape[-1]:],skip_special_tokensTrue))注意transformers需要 5.6 以上版本官方推荐的采样参数是temperature1.0, top_p0.95。另外官方还发布了约 0.3B 的投机解码草稿模型 MiniCPM5-2B-DSpark在 SGLang 里通过--speculative-algorithm DSPARK启用。版本怎么选、坑在哪Hugging Face 上提供了多个格式对应不同硬件版本适用场景MiniCPM5-2B (BF16)NVIDIA GPU 服务端部署vLLM/SGLang 首选MiniCPM5-2B-GGUFllama.cpp 生态CPU 或低显存设备MiniCPM5-2B-MLXApple Silicon Mac 本地运行MiniCPM5-2B-GPTQ量化后的 GPU 部署降低显存占用MiniCPM5-2B-SFT / Midtrain / Base二次训练、研究对比用的中间检查点MiniCPM5-2B-DSpark投机解码草稿模型配主模型使用几个实际会踩的点显存要自己算。官方 README 没给具体显存数字。按 25 亿参数估算BF16 权重大约 5GB加上 KV Cache 后消费级显卡能跑量化版本可以进一步下沉到 CPU 或低显存设备具体占用取决于量化位宽和上下文长度。别照着2B 很小就以为随便什么设备都能跑满 128K 上下文。动手前先用自己样本测。官方自测分数好看但你的任务分布未必一样尤其是工具调用稳定性、长文摘要这类要反复跑的场景。国内下载走 ModelScope。魔搭社区同步了全部版本比直连 Hugging Face 稳。想清楚端云分工。比较务实的分法是端侧做意图识别、简单问答、本地文档摘要、工具调用的路由与参数抽取、隐私敏感的预处理云端做复杂多步推理、长篇生成、需要最新知识的问答。这样端云两边的接口都走 OpenAI 兼容规范路由层才好统一维护。模型一起开源的还有训练数据和中间检查点包括约 50 万条 Agent 训练样本和 8 万多条 RL 样本这对想复现或做二次训练的团队价值不小。小模型这条线的意义不是能不能替代大模型而是把一部分任务从云端拿回本地。你会把哪些任务放到端侧跑评论区聊聊。本文信息来自 OpenBMB 官方 GitHub README、Hugging Face 模型页及公开报道评测数据为发布方自测结果第三方复测尚待补充实际选型建议用自有样本验证。