尧图网页设计 
如何用SGLang部署DeepSeek-V4-Pro-0813FP4量化与DSPARK算法完整指南DeepSeek-V4-Pro-0813 是 DeepSeek-V4-Pro 的正式版本在推理性能与智能体Agent能力上大幅超越预览版而SGLang部署DeepSeek-V4-Pro-0813正是当前生产环境中最主流的方案之一。本指南面向新手手把手带你完成FP4量化权重加载、DSPARK投机解码等关键配置用一条命令跑起百亿级参数的 MoE 大模型快速获得低延迟、高吞吐的本地推理体验。一、DeepSeek-V4-Pro-0813 是什么DeepSeek-V4-Pro-0813 是 DeepSeek 官方发布的DeepSeek-V4-Pro正式版模型构建在预览版架构之上并额外挂载了DSpark 投机解码模块。它在终端代理Terminal Bench 2.1 得分 87.9、代码生成NL2Repo 61.5、工具调用Toolathlon-Verified 74.1等多项基准上全面领先预览版。从仓库配置可以看出它的核心规格配置项数值说明隐藏层维度7168主干网络宽度层数61Transformer 层路由专家数384MoE 专家总数每 token 激活专家6稀疏激活专家权重精度FP4极致量化压缩其他权重精度FP8 (e4m3)量化配置最大上下文1048576百万级 token词表大小129280含特殊 token模型权重共分为66 个 safetensors 分片并附带model.safetensors.index.json索引可直接被 Transformers、SGLang、vLLM 等框架加载。二、FP4量化与DSPARK算法两大核心技术通俗解读什么是FP4量化为什么它如此关键量化就是把高精度的权重压缩成低精度从而大幅降低显存占用与带宽需求。DeepSeek-V4-Pro-0813 的 MoE 专家权重采用FP4 量化config.json中expert_dtype: fp4激活与其余权重使用FP8 量化。由于 384 个专家的参数量巨大FP4 量化让模型能在有限的 GPU 显存内跑起来同时配合按块缩放block-wise scaling尽量保住精度。这也是 SGLang 部署时必须指定flashinfer_mxfp4后端的原因——普通 FP8 后端无法直接执行 FP4 的矩阵运算。DSPARK算法是什么DSpark 是 DeepSeek 自研的投机解码Speculative Decoding算法由一个小巧的草稿模块快速猜测未来几个 token再由主模型一次性验证猜对的 token 无需重新计算从而显著提升解码速度。仓库配置中可以看到它的参数DSPARK 参数数值作用dspark_block_size5每次投机生成的 token 块大小dspark_target_layer_ids[58, 59, 60]接入草稿模块的目标层dspark_markov_rank512草稿模块的马尔可夫秩DSpark 最大的特点是草稿权重与主模型共用同一份 checkpoint部署时无需额外下载草稿模型开箱即用。三、SGLang部署前置准备硬件与软件清单硬件需求官方推荐的 SGLang 配置是4×GB300 单节点--tp 4。GB300 具备超大显存288GB HBM3e足以容纳 FP4 量化后的全部权重。如果显存紧张可参考官方 Cookbook 的其他硬件组合。软件环境SGLang最新稳定版需支持mxfp4后端与 DSPARK 算法Python 3.10CUDA 12.8GB300 平台获取模型权重克隆本仓库即可获得完整权重与推理代码git clone https://gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-V4-Pro-0813仓库内包含 66 个权重分片、tokenizer.json、config.json以及inference/本地推理代码。四、SGLang一键部署步骤官方推荐命令在确认 GPU 与 SGLang 环境就绪后执行以下命令即可启动服务来源项目根目录 README.md 的 How to Run with SGLang 章节sglang serve \ --trust-remote-code \ --model-path deepseek-ai/DeepSeek-V4-Pro-0813 \ --tp 4 \ --moe-runner-backend flashinfer_mxfp4 \ --speculative-algorithm DSPARK \ --mem-fraction-static 0.90 \ --chunked-prefill-size 4096 \ --swa-full-tokens-ratio 0.1 如果本地已下载权重将--model-path替换为本地目录路径即可。关键参数逐行解读参数作用部署要点--moe-runner-backend flashinfer_mxfp4指定 MoE 计算后端必须开启否则无法执行 FP4 量化权重--speculative-algorithm DSPARK启用 DSpark 投机解码不要再设置--speculative-draft-model-path草稿与目标权重同源--tp 4张量并行度与 GB300 节点数量4 卡匹配--mem-fraction-static 0.90静态显存分配比例预留 10% 余量避免 OOM--chunked-prefill-size 4096预填充分块大小平衡首 token 延迟与吞吐--swa-full-tokens-ratio 0.1滑动窗口注意力比例配合模型的 sliding_window128 机制服务启动后SGLang 会输出 OpenAI 兼容的 API 端点默认http://localhost:30000你可以直接用 curl 或 OpenAI SDK 调用。五、推理参数调优如何发挥最佳性能官方对本地部署给出了明确的采样建议temperature 1.0top_p 0.95智能体/Agent 场景top_p 1.0其他常规场景使用high/max推理档位时建议最大输出长度设为384Ktoken这些参数可在generation_config.json中预设默认temperature: 1.0, top_p: 1.0也可在每次请求时动态指定。关于消息编码Chat Template本仓库未提供 Jinja 格式的 chat template而是提供了专门的 Python 编码实现。多轮对话、工具调用、深度思考reasoning都需要通过 encoding_dsv4.py 来编码from encoding_dsv4 import encode_messages, parse_message_from_completion_text messages [ {role: user, content: 11?} ] prompt encode_messages(messages, thinking_modethinking, reasoning_effortmax)编码器支持low/high/max三档reasoning_effort对应不同强度的思考前缀可精细控制模型想多久再回答。六、本地离线推理不使用SGLang的备选方案如果你不想依赖 SGLang仓库inference/目录提供了纯 PyTorch 的本地推理实现。步骤如下第一步权重格式转换export EXPERTS256 export MP4 export CONFIGconfig.json python convert.py --hf-ckpt-path ${HF_CKPT_PATH} --save-path ${SAVE_PATH} --n-experts ${EXPERTS} --model-parallel ${MP}第二步交互式对话torchrun --nproc-per-node ${MP} generate.py --ckpt-path ${SAVE_PATH} --config ${CONFIG} --interactive该方案依赖tilelang0.1.8、fast_hadamard_transform等库见 requirements.txt支持单机多卡与多机分布式推理torchrun --nnodes适合完全离线的生产环境。七、vLLM部署备选DSpark同样可用如果你更习惯 vLLM官方同样提供了支持。只需添加一个--speculative-config参数即可启用 DSparkvllm serve deepseek-ai/DeepSeek-V4-Pro-0813 \ --trust-remote-code --kv-cache-dtype fp8 --block-size 256 \ --data-parallel-size 4 --enable-expert-parallel \ --moe-backend deep_gemm_mega_moe \ --attention-config {use_fp4_indexer_cache: true} \ --speculative-config {method:dspark,num_speculative_tokens:7,draft_sample_method:greedy}SGLang 与 vLLM 两条路线都原生支持 FP4 量化与 DSPARK 算法你可以按团队技术栈自行选择。️八、常见问题速查FAQQ1启动时报错 mxfp4 not supported检查 SGLang 版本是否支持flashinfer_mxfp4后端并确认显卡为 Blackwell 架构如 GB300、B200。Q2DSpark 不生效确认只设置了--speculative-algorithm DSPARK切勿再指定--speculative-draft-model-path否则会按独立草稿模型模式运行。Q3显存不够怎么办降低--mem-fraction-static如 0.80或改用更小的张量并行策略并参考官方 Cookbook 的其他硬件配置。Q4如何做多轮对话与工具调用使用 encoding_dsv4.py 的encode_messages编码多轮消息并用parse_message_from_completion_text解析带think思考块的输出项目encoding/tests/下提供了 4 组输入输出测试样例供参考。九、总结至此你已经掌握了SGLang部署DeepSeek-V4-Pro-0813的完整流程从理解FP4量化与DSPARK算法的原理到一键启动服务、调优推理参数再到本地离线推理与 vLLM 备选方案。核心只需记住两条命令口诀SGLang 用--moe-runner-backend flashinfer_mxfp4 --speculative-algorithm DSPARKvLLM 用--speculative-config {method:dspark}。现在就克隆仓库把 DeepSeek-V4-Pro-0813 跑起来体验百万上下文与极速推理带来的生产力提升吧⚡创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 如何用SGLang部署DeepSeek-V4-Pro-0813：FP4量化与DSPARK算法完整指南
如何用SGLang部署DeepSeek-V4-Pro-0813FP4量化与DSPARK算法完整指南DeepSeek-V4-Pro-0813 是 DeepSeek-V4-Pro 的正式版本在推理性能与智能体Agent能力上大幅超越预览版而SGLang部署DeepSeek-V4-Pro-0813正是当前生产环境中最主流的方案之一。本指南面向新手手把手带你完成FP4量化权重加载、DSPARK投机解码等关键配置用一条命令跑起百亿级参数的 MoE 大模型快速获得低延迟、高吞吐的本地推理体验。一、DeepSeek-V4-Pro-0813 是什么DeepSeek-V4-Pro-0813 是 DeepSeek 官方发布的DeepSeek-V4-Pro正式版模型构建在预览版架构之上并额外挂载了DSpark 投机解码模块。它在终端代理Terminal Bench 2.1 得分 87.9、代码生成NL2Repo 61.5、工具调用Toolathlon-Verified 74.1等多项基准上全面领先预览版。从仓库配置可以看出它的核心规格配置项数值说明隐藏层维度7168主干网络宽度层数61Transformer 层路由专家数384MoE 专家总数每 token 激活专家6稀疏激活专家权重精度FP4极致量化压缩其他权重精度FP8 (e4m3)量化配置最大上下文1048576百万级 token词表大小129280含特殊 token模型权重共分为66 个 safetensors 分片并附带model.safetensors.index.json索引可直接被 Transformers、SGLang、vLLM 等框架加载。二、FP4量化与DSPARK算法两大核心技术通俗解读什么是FP4量化为什么它如此关键量化就是把高精度的权重压缩成低精度从而大幅降低显存占用与带宽需求。DeepSeek-V4-Pro-0813 的 MoE 专家权重采用FP4 量化config.json中expert_dtype: fp4激活与其余权重使用FP8 量化。由于 384 个专家的参数量巨大FP4 量化让模型能在有限的 GPU 显存内跑起来同时配合按块缩放block-wise scaling尽量保住精度。这也是 SGLang 部署时必须指定flashinfer_mxfp4后端的原因——普通 FP8 后端无法直接执行 FP4 的矩阵运算。DSPARK算法是什么DSpark 是 DeepSeek 自研的投机解码Speculative Decoding算法由一个小巧的草稿模块快速猜测未来几个 token再由主模型一次性验证猜对的 token 无需重新计算从而显著提升解码速度。仓库配置中可以看到它的参数DSPARK 参数数值作用dspark_block_size5每次投机生成的 token 块大小dspark_target_layer_ids[58, 59, 60]接入草稿模块的目标层dspark_markov_rank512草稿模块的马尔可夫秩DSpark 最大的特点是草稿权重与主模型共用同一份 checkpoint部署时无需额外下载草稿模型开箱即用。三、SGLang部署前置准备硬件与软件清单硬件需求官方推荐的 SGLang 配置是4×GB300 单节点--tp 4。GB300 具备超大显存288GB HBM3e足以容纳 FP4 量化后的全部权重。如果显存紧张可参考官方 Cookbook 的其他硬件组合。软件环境SGLang最新稳定版需支持mxfp4后端与 DSPARK 算法Python 3.10CUDA 12.8GB300 平台获取模型权重克隆本仓库即可获得完整权重与推理代码git clone https://gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-V4-Pro-0813仓库内包含 66 个权重分片、tokenizer.json、config.json以及inference/本地推理代码。四、SGLang一键部署步骤官方推荐命令在确认 GPU 与 SGLang 环境就绪后执行以下命令即可启动服务来源项目根目录 README.md 的 How to Run with SGLang 章节sglang serve \ --trust-remote-code \ --model-path deepseek-ai/DeepSeek-V4-Pro-0813 \ --tp 4 \ --moe-runner-backend flashinfer_mxfp4 \ --speculative-algorithm DSPARK \ --mem-fraction-static 0.90 \ --chunked-prefill-size 4096 \ --swa-full-tokens-ratio 0.1 如果本地已下载权重将--model-path替换为本地目录路径即可。关键参数逐行解读参数作用部署要点--moe-runner-backend flashinfer_mxfp4指定 MoE 计算后端必须开启否则无法执行 FP4 量化权重--speculative-algorithm DSPARK启用 DSpark 投机解码不要再设置--speculative-draft-model-path草稿与目标权重同源--tp 4张量并行度与 GB300 节点数量4 卡匹配--mem-fraction-static 0.90静态显存分配比例预留 10% 余量避免 OOM--chunked-prefill-size 4096预填充分块大小平衡首 token 延迟与吞吐--swa-full-tokens-ratio 0.1滑动窗口注意力比例配合模型的 sliding_window128 机制服务启动后SGLang 会输出 OpenAI 兼容的 API 端点默认http://localhost:30000你可以直接用 curl 或 OpenAI SDK 调用。五、推理参数调优如何发挥最佳性能官方对本地部署给出了明确的采样建议temperature 1.0top_p 0.95智能体/Agent 场景top_p 1.0其他常规场景使用high/max推理档位时建议最大输出长度设为384Ktoken这些参数可在generation_config.json中预设默认temperature: 1.0, top_p: 1.0也可在每次请求时动态指定。关于消息编码Chat Template本仓库未提供 Jinja 格式的 chat template而是提供了专门的 Python 编码实现。多轮对话、工具调用、深度思考reasoning都需要通过 encoding_dsv4.py 来编码from encoding_dsv4 import encode_messages, parse_message_from_completion_text messages [ {role: user, content: 11?} ] prompt encode_messages(messages, thinking_modethinking, reasoning_effortmax)编码器支持low/high/max三档reasoning_effort对应不同强度的思考前缀可精细控制模型想多久再回答。六、本地离线推理不使用SGLang的备选方案如果你不想依赖 SGLang仓库inference/目录提供了纯 PyTorch 的本地推理实现。步骤如下第一步权重格式转换export EXPERTS256 export MP4 export CONFIGconfig.json python convert.py --hf-ckpt-path ${HF_CKPT_PATH} --save-path ${SAVE_PATH} --n-experts ${EXPERTS} --model-parallel ${MP}第二步交互式对话torchrun --nproc-per-node ${MP} generate.py --ckpt-path ${SAVE_PATH} --config ${CONFIG} --interactive该方案依赖tilelang0.1.8、fast_hadamard_transform等库见 requirements.txt支持单机多卡与多机分布式推理torchrun --nnodes适合完全离线的生产环境。七、vLLM部署备选DSpark同样可用如果你更习惯 vLLM官方同样提供了支持。只需添加一个--speculative-config参数即可启用 DSparkvllm serve deepseek-ai/DeepSeek-V4-Pro-0813 \ --trust-remote-code --kv-cache-dtype fp8 --block-size 256 \ --data-parallel-size 4 --enable-expert-parallel \ --moe-backend deep_gemm_mega_moe \ --attention-config {use_fp4_indexer_cache: true} \ --speculative-config {method:dspark,num_speculative_tokens:7,draft_sample_method:greedy}SGLang 与 vLLM 两条路线都原生支持 FP4 量化与 DSPARK 算法你可以按团队技术栈自行选择。️八、常见问题速查FAQQ1启动时报错 mxfp4 not supported检查 SGLang 版本是否支持flashinfer_mxfp4后端并确认显卡为 Blackwell 架构如 GB300、B200。Q2DSpark 不生效确认只设置了--speculative-algorithm DSPARK切勿再指定--speculative-draft-model-path否则会按独立草稿模型模式运行。Q3显存不够怎么办降低--mem-fraction-static如 0.80或改用更小的张量并行策略并参考官方 Cookbook 的其他硬件配置。Q4如何做多轮对话与工具调用使用 encoding_dsv4.py 的encode_messages编码多轮消息并用parse_message_from_completion_text解析带think思考块的输出项目encoding/tests/下提供了 4 组输入输出测试样例供参考。九、总结至此你已经掌握了SGLang部署DeepSeek-V4-Pro-0813的完整流程从理解FP4量化与DSPARK算法的原理到一键启动服务、调优推理参数再到本地离线推理与 vLLM 备选方案。核心只需记住两条命令口诀SGLang 用--moe-runner-backend flashinfer_mxfp4 --speculative-algorithm DSPARKvLLM 用--speculative-config {method:dspark}。现在就克隆仓库把 DeepSeek-V4-Pro-0813 跑起来体验百万上下文与极速推理带来的生产力提升吧⚡创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考