1. 为什么要在局域网里折腾离线 VibeCoding先说清楚一件事VibeCoding 这个词这两年火起来本质上是把写代码从逐行敲变成了跟模型对话、让它生成、你来审。Claude Code 和 Codex 这类工具就是典型代表——你在终端里描述需求它读你的项目文件、改代码、跑命令。爽是真爽但问题也来了默认情况下它们都要连公网 API你的代码、你的业务逻辑、你的数据库结构全都得往外面发。对于个人玩具项目无所谓但只要涉及公司内部系统、客户数据、还没申请专利的算法把源码往公网模型接口上送就是给自己埋雷。所以局域网离线 VibeCoding这个需求就冒出来了把模型跑在内网的一台机器上其他开发机通过局域网访问全程不出内网。既保留了 AI 辅助编码的效率又把数据边界卡死在局域网里。这套方案适合谁三类人最需要一是中小团队的技术负责人想给团队统一搭一套 AI 编码环境又不想买一堆云服务二是做企业私有化部署的工程师客户明确要求数据不出内网三是对数据敏感的个人开发者比如你在做金融、医疗、政企相关的项目。哪怕你只是想省点 API 费用本地跑模型也是个划算的选择。我前后搭过三套这样的环境踩过的坑能写满一页纸。下面把整套思路、选型、实操、排错都摊开讲你照着抄基本能落地。2. 整体架构设计与方案选型2.1 三种典型拓扑先想清楚你要哪种局域网离线 VibeCoding 不是只有一种搭法核心区别在于模型跑在哪和谁访问谁。我把它归成三类拓扑类型模型位置客户端适用场景硬件门槛单机自给本机本机个人开发、试水高要能跑动模型一拖多内网一台服务器多台开发机小团队共享中高服务器要够强混合分流本地小模型 内网大模型按任务切换兼顾速度与质量中单机自给最简单模型和 Claude Code 装同一台机器走 localhost连局域网都不用配。缺点是吃硬件一台笔记本跑 7B 模型还行跑 30B 以上就吃力。一拖多是团队最常用的。找一台带显卡的机器当模型服务器跑推理服务其他开发机通过局域网 IP 访问。这里的关键是推理服务要暴露成 OpenAI 兼容接口因为 Claude Code 和 Codex 都支持自定义 base URL。混合分流是我个人最推荐的。日常补全、简单重构用本地小模型快、省资源遇到复杂架构设计再切到内网大模型。Claude Code 支持通过环境变量切换端点配合 cc switch 这类工具可以一键换模型。2.2 为什么选 OpenAI 兼容接口作为统一标准这是整套方案的地基。Claude Code 原生是连 Anthropic 的Codex 原生是连 OpenAI 的但你完全可以把它们指向任何长得像 OpenAI的接口。原因很简单OpenAI 的/v1/chat/completions和/v1/responses格式已经成了事实标准几乎所有本地推理框架都实现了它。本地推理框架的选择上我实测下来这几个最稳LM Studio图形界面友好一键加载模型并开启本地服务器适合新手。它默认监听1234端口接口路径是/v1。Ollama命令行党最爱ollama serve之后默认监听11434同样提供 OpenAI 兼容层。vLLM生产级选择吞吐量高适合多人并发但配置稍复杂需要 Python 环境。llama.cpp 的 server最轻量CPU 也能跑适合没有独显的场景。选哪个取决于你的硬件和并发量。一个人用 LM Studio 或 Ollama 足够五个人以上同时用vLLM 的批处理优势就体现出来了。2.3 局域网访问的核心绑定地址与防火墙很多人卡在本机能用别人连不上。九成原因是推理服务默认只绑127.0.0.1也就是只允许本机访问。你要把它改成绑0.0.0.0意思是监听所有网卡局域网里其他机器才能通过你的内网 IP 连过来。以 Ollama 为例需要设置环境变量OLLAMA_HOST0.0.0.0:11434再启动。LM Studio 在设置里有个Serve on Local Network开关打开即可。vLLM 启动时加--host 0.0.0.0。绑好之后还有第二道关系统防火墙。Windows 上默认会拦入站连接你得给对应端口放行。这一步不做前面全白搭。3. 核心环境搭建与实操要点3.1 模型服务器的准备与推理服务启动先确定服务器硬件。跑 7B 量化模型Q4 级别8GB 显存或 16GB 内存能凑合跑 14B 建议 12GB 以上显存32B 级别建议 24GB 显存起步。如果只有 CPU用 llama.cpp 跑 7B Q4速度大概每秒几个 token能用但谈不上流畅。以 Ollama 为例完整启动流程# Linux/macOS 设置监听所有网卡 export OLLAMA_HOST0.0.0.0:11434 ollama serve # 另开一个终端拉取模型以 Qwen 系列为例中文场景友好 ollama pull qwen2.5-coder:14bWindows 上设置环境变量用setx OLLAMA_HOST 0.0.0.0:11434 # 设置后需要重启终端或重启 Ollama 服务启动后验证服务是否正常curl http://localhost:11434/v1/models能返回模型列表就说明接口通了。注意 Ollama 的 OpenAI 兼容层路径是/v1不是根路径配客户端时别写错。LM Studio 的话加载模型后在左侧 Developer 标签页点 Start Server然后在设置里勾选 Serve on Local Network它会显示一个局域网地址形如http://192.168.1.100:1234。3.2 客户端接入 Claude Code 的关键配置Claude Code 支持通过环境变量指定自定义端点。核心是这几个变量# 指向你的局域网模型服务 export ANTHROPIC_BASE_URLhttp://192.168.1.100:11434/v1 export ANTHROPIC_API_KEYdummy-key export ANTHROPIC_MODELqwen2.5-coder:14b这里有个坑要重点说ANTHROPIC_API_KEY本地服务通常不校验但 Claude Code 会检查这个变量是否存在不设会直接报错。随便填个非空字符串就行比如local。另一个高频报错是your organization has disabled claude subscription access for claude code。这个错误一般出现在你同时登录了官方账号又配了自定义端点工具在鉴权逻辑上打架。解决办法是彻底清掉官方登录态只走环境变量。检查一下~/.claude目录下的配置文件把残留的 token 清干净。如果你用的是 cc switch 这类多模型切换工具注意它切换的是配置文件而不是环境变量切换后要重启 Claude Code 进程才生效。我见过有人切完没重启一直连的旧端点排查半天。3.3 Codex 接入本地模型的注意事项Codex 的配置走的是另一套。它读取~/.codex/config.toml或项目级配置你需要指定 provider 和 base URL[model_providers.local] name local base_url http://192.168.1.100:11434/v1 wire_api chat [profiles.local] model qwen2.5-coder:14b model_provider localCodex 有个容易踩的坑它默认走responses接口/v1/responses而很多本地框架只实现了chat/completions。这时候会报cc switch local proxy failed while handling codex endpoint /responses之类的错。解决办法是把wire_api显式设成chat强制它走 chat 接口。还有个报错the gpt-5.6-sol model is not supported when using codex with a...本质是模型名对不上。Codex 内部有个默认模型名你必须在 profile 里显式覆盖成你本地实际拉取的模型名否则它会拿默认名去请求本地服务找不到就报错。3.4 局域网连通性排查清单配完连不上按这个顺序查基本能定位服务器端服务是否在跑curl http://localhost:端口/v1/models本机先通。是否绑了 0.0.0.0netstat -an | grep 端口Linux或netstat -ano | findstr 端口Windows看监听地址是不是0.0.0.0而不是127.0.0.1。防火墙是否放行Windows 在高级安全 Windows Defender 防火墙里加一条入站规则放行对应 TCP 端口。客户端能否 ping 通服务器ping 192.168.1.100不通就是网络层问题跟服务无关。客户端能否 curl 通在客户端机器上curl http://192.168.1.100:11434/v1/models这一步能区分是网络问题还是客户端配置问题。IP 是否冲突用arp -a或路由器后台查一下确认服务器 IP 没被别人占用。提示Windows 上如果出现能上互联网但访问不了局域网的情况多半是网络配置文件被识别成了公用网络防火墙策略更严。把网络改成专用网络再试。4. 实操过程与关键环节实现4.1 从零搭一套一拖多环境完整流程假设你有一台带 RTX 4090 的工作站当服务器三台开发笔记本当客户端全部在同一个局域网段192.168.1.0/24。第一步服务器装 Ollama 并拉模型。装完后设置OLLAMA_HOST0.0.0.0:11434重启服务。拉一个 coder 专用模型比如qwen2.5-coder:14b或deepseek-coder-v2。中文注释多的项目Qwen 系列理解更顺。第二步服务器放行防火墙。Windows 上执行New-NetFirewallRule -DisplayName Ollama LAN -Direction Inbound -Protocol TCP -LocalPort 11434 -Action AllowLinux 上用 ufw 的话sudo ufw allow 11434/tcp。第三步记录服务器内网 IP。ipconfigWindows或ip addrLinux查出来假设是192.168.1.100。建议在路由器里给它绑定静态 IP否则重启后 IP 变了所有客户端配置都得改。第四步客户端配置 Claude Code。每台开发机设好环境变量指向http://192.168.1.100:11434/v1。Windows 用setxmacOS/Linux 写进~/.zshrc或~/.bashrc。第五步验证。在客户端跑一个简单任务比如让 Claude Code 读一下当前目录的 README 并总结看它能否正常调用本地模型返回结果。4.2 参数调优让本地模型跑得更像样本地模型和云端大模型差距最大的地方是听话程度。几个关键参数能明显改善体验temperature编码任务建议 0.1~0.3太高会瞎编太低会死板。默认 0.7 对代码来说偏高。上下文长度Claude Code 会塞很多文件内容进上下文本地模型如果上下文窗口只有 8K很容易被截断。尽量选 32K 以上的模型或在客户端限制读取文件数量。top_p配合 temperature 用一般 0.9 左右。重复惩罚本地小模型容易复读适当加repeat_penalty1.1 左右。在 Ollama 里可以通过 Modelfile 固化这些参数FROM qwen2.5-coder:14b PARAMETER temperature 0.2 PARAMETER top_p 0.9 PARAMETER num_ctx 32768然后ollama create my-coder -f Modelfile客户端模型名填my-coder。4.3 多模型切换的实操技巧团队里不同任务需要不同模型写业务逻辑用通用 coder 模型写 SQL 用专门的做文档总结用轻量模型。手动改环境变量太麻烦我一般用两种方式一是写几个 shell 脚本use-qwen.sh、use-deepseek.sh内容就是 export 不同变量切换时 source 一下。简单粗暴但有效。二是用 cc switch 这类工具管理多套配置。它的原理是维护多个配置文件切换时替换当前生效的那份。注意前面说的切完要重启 Claude Code。注意切换模型后之前对话的上下文不会自动迁移。Claude Code 的会话是绑定模型的换模型等于开新会话。做长任务时别中途乱切。4.4 离线环境下的依赖处理真正的离线意味着服务器和客户端都不能访问公网。这会带来几个麻烦模型文件得提前下载好用 U 盘或内网文件共享拷进去。Ollama 的模型存在~/.ollama/models整个目录拷过去即可。Claude Code、Codex 的安装包也得离线装。npm 包可以提前在有网机器上npm pack打包再离线npm install ./xxx.tgz。如果客户端需要 Node.js 运行时同样要离线安装包。我一般会准备一个离线资源包里面放好模型文件、安装包、配置模板新机器接入时直接拷过去十分钟搞定。5. 常见问题与排查技巧实录5.1 高频报错速查表报错信息根本原因解决办法connection refused服务没起或端口不对检查服务进程和端口organization has disabled claude subscription access官方登录态与自定义端点冲突清除~/.claude登录信息cc switch local proxy failed ... /responsesCodex 走了 responses 接口配置wire_api chatmodel is not supported模型名不匹配profile 里显式指定本地模型名客户端 curl 不通但本机通服务只绑了 127.0.0.1改绑 0.0.0.0能 ping 通但连不上端口防火墙拦截放行对应 TCP 端口响应极慢模型太大或走了 CPU换小模型或启用 GPU 加速输出乱码/复读参数不当调低 temperature加重复惩罚5.2 几个只有踩过才知道的坑坑一模型名大小写敏感。有些框架对模型名大小写敏感Qwen2.5-Coder和qwen2.5-coder会被当成两个模型。配置时严格照ollama list输出的名字抄。坑二上下文超限不报错直接截断。本地模型上下文满了之后很多框架是静默截断而不是报错。表现是模型好像忘了前面说的话。排查时看服务端日志的 token 计数。坑三并发请求把显存打爆。多人同时用一台服务器如果没限制并发数显存瞬间吃满导致服务崩溃。vLLM 可以设--max-num-seqsOllama 可以设OLLAMA_NUM_PARALLEL。坑四局域网 IP 变动。DHCP 分配的 IP 会变今天配好明天就连不上。务必给服务器绑静态 IP 或在路由器做 MAC 绑定。坑五Windows 防火墙的专用/公用网络判定。同一个网卡插不同路由器可能被判定成不同网络类型防火墙策略跟着变。固定用专用网络配置。5.3 性能与体验的平衡经验本地模型再强和云端旗舰模型也有差距。我的经验是把本地模型定位成能干活的助手而不是全能专家。简单函数、样板代码、单元测试、注释补全本地模型完全够用复杂架构设计、疑难 bug 定位还是得靠更强的模型。如果团队预算允许可以搞内网大模型 本地小模型双层内网部署一个 70B 级别的模型处理复杂任务本地跑 7B 处理日常补全。Claude Code 通过切换端点来分流兼顾效率和质量。另外给模型喂好上下文比换模型更有效。项目里放一个清晰的CLAUDE.md或AGENTS.md写清楚项目结构、技术栈、编码规范模型的表现会明显提升。这个文件相当于给模型的项目说明书本地小模型尤其吃这一套。6. 安全边界与运维建议6.1 局域网不等于绝对安全很多人觉得在内网就安全了其实不然。局域网内任何一台被感染的机器都能扫描到你的模型服务端口。几个基本防护要做推理服务不要暴露到公网只绑内网网段。如果内网有访客网络确保访客网段访问不到模型服务。服务端可以加一层简单的 API Key 校验vLLM 支持--api-key虽然本地模型不校验也能跑但加一层能挡住误连。定期看服务日志异常的大量请求可能是有人在扫端口。6.2 模型与数据的隔离模型文件本身不敏感但你的项目代码敏感。确保 Claude Code 的工作目录限制在项目内别让它读到系统敏感文件。Claude Code 有权限确认机制第一次读文件会问你别图省事全点允许。如果做企业私有化部署建议把模型服务、代码仓库、开发机放在同一个受控网段和办公网做逻辑隔离。这样即使办公网出问题开发环境也不受影响。6.3 日常运维的几个习惯服务器上的推理服务建议做成开机自启。Linux 用 systemd 写个 serviceWindows 用任务计划程序。这样重启机器后不用手动去拉服务。模型更新要有版本管理。新模型先在小范围试用确认稳定再全量切换。我见过直接换模型导致整个团队编码风格突变的回滚都来不及。日志要留。推理服务的日志能帮你定位为什么这次响应这么慢为什么模型输出异常。Ollama 的日志在~/.ollama/logsvLLM 直接输出到终端或指定文件。最后分享一个我自己的小习惯给每个模型起个好记的别名比如fast小模型、smart大模型配置里用别名切换时只改别名指向。这样团队成员不用记一堆模型全名沟通成本低很多。这套环境搭好之后我们团队三个人共用一台 4090 工作站日常编码辅助完全够用代码一行都没出过内网。