尧图网页设计 
一条命令把 Edge0 变成 OpenAI 兼容服务本地部署 35B 模型无缝接入任意应用【免费下载链接】Edge0项目地址: https://gitcode.com/gh_mirrors/ed/Edge0Edge0是一个开源的流式 MoE 推理框架主打SSD 专家卸载 Recover-LoRA 路由预测让 35B 级别的大模型能在消费级硬件上以不到 3GB 峰值内存运行。最实用的一点是它内置了OpenAI 兼容 HTTP 服务你只需敲一条edge0 serve edge0-35b命令本地 35B 模型就变成标准/v1/chat/completions接口任何支持 OpenAI SDK 的应用改一行base_url即可无缝接入——无需 GPU 集群无需 Docker无需改造业务代码。为什么需要「一条命令」的 OpenAI 兼容服务 如果你已经有基于 OpenAI API 写好的应用聊天机器人、RAG 系统、代码助手、Agent 工具链接入私有模型通常要面对三类折腾换推理框架vLLM、TGI 各自一套接口还得适配模型架构换机器35B 稠密模型要 70GB 显存直接劝退改代码私有接口与 OpenAI 协议不一致请求/响应字段全部要重写。Edge0 的思路完全不同35B 模型跑在 24GB 内存的 Mac 上——MoE 稀疏架构 SSD 专家卸载峰值内存只由激活的专家集合决定edge0-35b 约 2.9 GiB而不是总参数量服务层说标准 OpenAI 协议——/v1/chat/completions、SSE 流式输出、usage统计一应俱全一条命令上线——edge0 serve即装即用连 Flask 都没装也能跑自动降级到标准库 HTTP 实现接口行为完全一致。 想深入理解背后的机制可阅读架构文档与 35B 模型说明。3 步完成本地部署从安装到服务上线第 1 步安装 edge0 Python 框架1 分钟Python 框架运行在macOS Apple SiliconM1/M2/M3/M4要求 Python 3.10依赖见 pyproject.tomlcd python python3.12 -m venv .venv .venv/bin/pip install -e .[fetch]安装后你会得到一个edge0命令行工具等价写法python -m edge0。第 2 步下载 35B 模型约 23GB官方发布的模型仓库把基础权重 训练好的 LoRA 适配器 路由预测头放在同一个目录一次下载即可运行.venv/bin/python scripts/fetch_models.py --tier edge0-35b --target-dir models export EDGE0_35B_MODEL$PWD/models/edge0-35b拉取脚本是 fetch_models.py下载后目录结构如下适配器与基础权重并排无需手动拼装models/edge0-35b/ ├── config.json, model-*.safetensors, tokenizer files # 基础检查点 ├── lora_edge0_35b.safetensors # 训练好的 LoRA 适配器 └── prerouter_edge0_35b.safetensors # 训练好的路由预测头 磁盘空间有限可以先用 ~4.2GB 的edge0-8b档体验流程完全相同。第 3 步一条命令启动 OpenAI 兼容服务 ⚡edge0 serve edge0-35b看到如下输出即服务就绪默认监听http://127.0.0.1:8000[edge0] serving edge0-35b on http://127.0.0.1:8000 (streamstdlib)也可以跳过环境变量直接把模型目录传给serve——层级会从检查点的config.json自动识别edge0 serve models/edge0-35b --host 0.0.0.0 --port 8000serve命令的实现入口在 cli.py服务路由与流式协议在 app.py、请求解析与会话管理在 chat.py。无缝接入任意应用改一行 base_url 即可 先验证curl 打一个请求服务暴露了三个标准端点端点方法说明/v1/chat/completionsPOST核心对话接口支持流式stream: true走 SSE与非流式/v1/modelsGET列出当前模型edge0-35b/healthzGET健康检查返回状态与模型名curl http://127.0.0.1:8000/v1/chat/completions \ -H Content-Type: application/json \ -d {model:edge0-35b,messages:[{role:user,content:Hello!}],max_tokens:32}返回结构与 OpenAI 官方完全同构choices[0].message.content是正文usage包含prompt_tokens/completion_tokens/total_tokens开启思考模式时推理过程会单独放在reasoning_content字段。再改造任意 OpenAI 应用一行接入以 Python OpenAI SDK 为例只需把base_url指到本地from openai import OpenAI client OpenAI(base_urlhttp://127.0.0.1:8000/v1, api_keynone) resp client.chat.completions.create( modeledge0-35b, messages[{role: user, content: 用一句话解释流式推理}], streamTrue, ) for chunk in resp: print(chunk.choices[0].delta.content or , end)请求参数temperature、top_p、top_k、max_tokens、seed、stream、enable_thinking都会被正确透传参数映射见 parse_chat_request。服务是怎么保证稳定的Edge0 的服务端是一个单槽队列模型QueueServer见 chat.pyMoE 推理对专家缓存很敏感并发请求会互相踩踏所以引擎一次只服务一个请求多余请求进入 FIFO 队列按序排空不会出现响应错乱每个请求开始前都会reset()清理上一轮残留的状态保证长对话不越聊越乱流式输出走标准 SSEtext/event-stream带X-Accel-Buffering: no头反代环境下也不缓冲卡顿。性能参考与常见问题 在 Mac mini M4 Pro24GB上的实测数据复现脚本bench.py指标edge0-35bedge0-8b解码速度14.9–17.7 tok/s23.9–25.3 tok/sPrefill 吞吐冷/热113 / 140 tok/s500 / 1428 tok/s峰值活动内存~2.9 GiB~1.0 GiBQ1第一个请求为什么特别慢专家权重是从 SSD 按需读入的mmap 缺页冷启动会先触发大量磁盘读取第二个请求起权重留在页缓存里速度会明显回升——这就是上表冷/热两列的差别。Q2想省内存/排查问题能关掉部分机制吗可以。edge0 serve支持--no-prerouter关闭路由预测和--no-lora关闭 LoRA 恢复退回基础模型直跑方便对照调试。Q3Windows / Linux 能用吗Python 框架目前绑定 Apple Silicon 的 MLX 后端CUDA 后端已在路线图中但 Edge0 同时开源了macOS / iOS / Android / Windows四个平台的原生引擎分别见 macos/、ios/、android/、windows/ 各目录 README统一访问层将在 2026 Q4 落地。Q4只想在代码里调用不跑 HTTP 服务也可以。核心引擎提供 Python APIAutoEngine.from_pretrainedChatSession与 HTTP 服务共用同一套会话逻辑最简示例见 demo.py。小结✅一条命令edge0 serve edge0-35b启动 OpenAI 兼容服务✅真·本地 35B24GB 内存的 Mac 上解码约 15 tok/s峰值内存不到 3GB✅零改造接入/v1/chat/completions标准协议 SSE 流式改一行base_url即用✅开源可查服务层代码集中在 python/src/edge0/server/协议、排队、SSE 帧格式全部透明可读。把 35B 模型从云端的 API变成桌面上的服务Edge0 只花了你一条命令的功夫。【免费下载链接】Edge0项目地址: https://gitcode.com/gh_mirrors/ed/Edge0创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 一条命令把 Edge0 变成 OpenAI 兼容服务：本地部署 35B 模型，无缝接入任意应用
一条命令把 Edge0 变成 OpenAI 兼容服务本地部署 35B 模型无缝接入任意应用【免费下载链接】Edge0项目地址: https://gitcode.com/gh_mirrors/ed/Edge0Edge0是一个开源的流式 MoE 推理框架主打SSD 专家卸载 Recover-LoRA 路由预测让 35B 级别的大模型能在消费级硬件上以不到 3GB 峰值内存运行。最实用的一点是它内置了OpenAI 兼容 HTTP 服务你只需敲一条edge0 serve edge0-35b命令本地 35B 模型就变成标准/v1/chat/completions接口任何支持 OpenAI SDK 的应用改一行base_url即可无缝接入——无需 GPU 集群无需 Docker无需改造业务代码。为什么需要「一条命令」的 OpenAI 兼容服务 如果你已经有基于 OpenAI API 写好的应用聊天机器人、RAG 系统、代码助手、Agent 工具链接入私有模型通常要面对三类折腾换推理框架vLLM、TGI 各自一套接口还得适配模型架构换机器35B 稠密模型要 70GB 显存直接劝退改代码私有接口与 OpenAI 协议不一致请求/响应字段全部要重写。Edge0 的思路完全不同35B 模型跑在 24GB 内存的 Mac 上——MoE 稀疏架构 SSD 专家卸载峰值内存只由激活的专家集合决定edge0-35b 约 2.9 GiB而不是总参数量服务层说标准 OpenAI 协议——/v1/chat/completions、SSE 流式输出、usage统计一应俱全一条命令上线——edge0 serve即装即用连 Flask 都没装也能跑自动降级到标准库 HTTP 实现接口行为完全一致。 想深入理解背后的机制可阅读架构文档与 35B 模型说明。3 步完成本地部署从安装到服务上线第 1 步安装 edge0 Python 框架1 分钟Python 框架运行在macOS Apple SiliconM1/M2/M3/M4要求 Python 3.10依赖见 pyproject.tomlcd python python3.12 -m venv .venv .venv/bin/pip install -e .[fetch]安装后你会得到一个edge0命令行工具等价写法python -m edge0。第 2 步下载 35B 模型约 23GB官方发布的模型仓库把基础权重 训练好的 LoRA 适配器 路由预测头放在同一个目录一次下载即可运行.venv/bin/python scripts/fetch_models.py --tier edge0-35b --target-dir models export EDGE0_35B_MODEL$PWD/models/edge0-35b拉取脚本是 fetch_models.py下载后目录结构如下适配器与基础权重并排无需手动拼装models/edge0-35b/ ├── config.json, model-*.safetensors, tokenizer files # 基础检查点 ├── lora_edge0_35b.safetensors # 训练好的 LoRA 适配器 └── prerouter_edge0_35b.safetensors # 训练好的路由预测头 磁盘空间有限可以先用 ~4.2GB 的edge0-8b档体验流程完全相同。第 3 步一条命令启动 OpenAI 兼容服务 ⚡edge0 serve edge0-35b看到如下输出即服务就绪默认监听http://127.0.0.1:8000[edge0] serving edge0-35b on http://127.0.0.1:8000 (streamstdlib)也可以跳过环境变量直接把模型目录传给serve——层级会从检查点的config.json自动识别edge0 serve models/edge0-35b --host 0.0.0.0 --port 8000serve命令的实现入口在 cli.py服务路由与流式协议在 app.py、请求解析与会话管理在 chat.py。无缝接入任意应用改一行 base_url 即可 先验证curl 打一个请求服务暴露了三个标准端点端点方法说明/v1/chat/completionsPOST核心对话接口支持流式stream: true走 SSE与非流式/v1/modelsGET列出当前模型edge0-35b/healthzGET健康检查返回状态与模型名curl http://127.0.0.1:8000/v1/chat/completions \ -H Content-Type: application/json \ -d {model:edge0-35b,messages:[{role:user,content:Hello!}],max_tokens:32}返回结构与 OpenAI 官方完全同构choices[0].message.content是正文usage包含prompt_tokens/completion_tokens/total_tokens开启思考模式时推理过程会单独放在reasoning_content字段。再改造任意 OpenAI 应用一行接入以 Python OpenAI SDK 为例只需把base_url指到本地from openai import OpenAI client OpenAI(base_urlhttp://127.0.0.1:8000/v1, api_keynone) resp client.chat.completions.create( modeledge0-35b, messages[{role: user, content: 用一句话解释流式推理}], streamTrue, ) for chunk in resp: print(chunk.choices[0].delta.content or , end)请求参数temperature、top_p、top_k、max_tokens、seed、stream、enable_thinking都会被正确透传参数映射见 parse_chat_request。服务是怎么保证稳定的Edge0 的服务端是一个单槽队列模型QueueServer见 chat.pyMoE 推理对专家缓存很敏感并发请求会互相踩踏所以引擎一次只服务一个请求多余请求进入 FIFO 队列按序排空不会出现响应错乱每个请求开始前都会reset()清理上一轮残留的状态保证长对话不越聊越乱流式输出走标准 SSEtext/event-stream带X-Accel-Buffering: no头反代环境下也不缓冲卡顿。性能参考与常见问题 在 Mac mini M4 Pro24GB上的实测数据复现脚本bench.py指标edge0-35bedge0-8b解码速度14.9–17.7 tok/s23.9–25.3 tok/sPrefill 吞吐冷/热113 / 140 tok/s500 / 1428 tok/s峰值活动内存~2.9 GiB~1.0 GiBQ1第一个请求为什么特别慢专家权重是从 SSD 按需读入的mmap 缺页冷启动会先触发大量磁盘读取第二个请求起权重留在页缓存里速度会明显回升——这就是上表冷/热两列的差别。Q2想省内存/排查问题能关掉部分机制吗可以。edge0 serve支持--no-prerouter关闭路由预测和--no-lora关闭 LoRA 恢复退回基础模型直跑方便对照调试。Q3Windows / Linux 能用吗Python 框架目前绑定 Apple Silicon 的 MLX 后端CUDA 后端已在路线图中但 Edge0 同时开源了macOS / iOS / Android / Windows四个平台的原生引擎分别见 macos/、ios/、android/、windows/ 各目录 README统一访问层将在 2026 Q4 落地。Q4只想在代码里调用不跑 HTTP 服务也可以。核心引擎提供 Python APIAutoEngine.from_pretrainedChatSession与 HTTP 服务共用同一套会话逻辑最简示例见 demo.py。小结✅一条命令edge0 serve edge0-35b启动 OpenAI 兼容服务✅真·本地 35B24GB 内存的 Mac 上解码约 15 tok/s峰值内存不到 3GB✅零改造接入/v1/chat/completions标准协议 SSE 流式改一行base_url即用✅开源可查服务层代码集中在 python/src/edge0/server/协议、排队、SSE 帧格式全部透明可读。把 35B 模型从云端的 API变成桌面上的服务Edge0 只花了你一条命令的功夫。【免费下载链接】Edge0项目地址: https://gitcode.com/gh_mirrors/ed/Edge0创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考