ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

配额用完不再停工:OpenRelay 自定义模型组与自动故障转移实战指南

配额用完不再停工:OpenRelay 自定义模型组与自动故障转移实战指南 配额用完不再停工OpenRelay 自定义模型组与自动故障转移实战指南【免费下载链接】openrelay几百个免费 AI 模型配额一键接入本地项目。| Hundreds of free AI model quotas, one-click access to local projects.项目地址: https://gitcode.com/gh_mirrors/openrel/openrelayOpenRelay 是一款本地 AI 配额聚合工具能自动发现你电脑上已有的数百个免费 AI 模型配额Groq、Cerebras、SambaNova、Gemini 等并一键接入本地项目。本文将带你用它的两大核心功能——自定义模型组与自动故障转移解决免费额度用完就得停工等重置的尴尬把多个供应商的配额合并成一个虚拟模型任何一个用完就自动切到下一个全程无需手动干预。为什么需要模型组与自动故障转移用过免费 AI 配额的开发者都熟悉这种循环Groq 的每日额度烧完 → Claude Code 直接报rate limit exceeded→ 手动改环境变量 → 重开终端 → 换到 Cerebras 继续干……每个工具的配额都是孤岛Claude Pro 只能在 Claude Desktop 用Kiro 配额只能在 Kiro 里用Cursor 的 500 次请求用光就只能干等。README.md 把这种痛点概括为一句话——你的 AI 订阅各自为政。手动切换的代价是时间和心智负担。而 OpenRelay 的模型组功能本质上是给这些配额装了一套负载均衡 故障转移轮询Round-Robin多个 Provider 轮流承接请求摊薄每个供应商的消耗自动切换Failover某个 Provider 限流或不可用时请求自动落到组内下一个可用成员整个过程对使用端完全透明——你的工具只需要知道一个模型名背后切了谁它根本不需要关心。启动后面板会自动发现本机的 AI 应用Claude Desktop、Kiro、Windsurf、VS Code Copilot 等和已配置的 API 服务绿点即表示该 Provider 可用。侧边栏的获取配额与消费配额分区让你对每一分免费额度都有数。3 步创建你的第一个自定义模型组 入口Web 面板http://localhost:18765左侧边栏的Custom标签页。第一步先备齐 2~3 个同档位的 Provider模型组的质量取决于成员的匹配度。OpenRelay 在界面上明确提示为保证使用质量进行模型组合时尽量选择一样或接近的模型。推荐的免费组合详见 faq.mdProvider免费额度代表模型Groq14,400 次/天Llama 3.3 70B速度极快Cerebras100 万 token/天Llama 70BSambaNova200K token/天Llama 405BOpenRouter30 免费模型多模型可选Gemini API免费额度大100 万上下文官方给出的经典示例是把 Groq、Cerebras、SambaNova 三家合并成一个fast-group——Groq 额度不可用 → 自动切 Cerebras → 再切 SambaNova。第二步在 Custom 标签页创建模型组打开Custom标签页填写创建模型组表单三个字段各有讲究组名你自己的备注名比如快速模型仅用于面板识别自定义模型名如fast-group——这是关键。你的工具端将用它作为model参数请求模型相当于这个虚拟模型对外的身份证选择模型从下拉框选择 Provider 具体模型点添加模型重复添加 2~3 个成员最后点创建如上图所示一个名为Free的模型组标注to-me、3 个模型、轮询 自动切换已包含 Claude Desktop 的claude-sonnet-4-6、Kiro 的claude-sonnet-4.5和 VS Code 的Claude-haiku-4.5三个成员。创建完成后随时可以编辑增删成员或删除整个组。第三步把工具指向模型组模型组建好后在Work标签页为各 CLI 工具选择模型时直接选你这个模型组名即可。比如让 Claude Code 走fast-group之后无论组内哪个成员有额度Claude Code 都能正常出活。Work 标签页会为每个应用记录配置路径与当前模型模型后括号里标注了实际承接的 Provider开关一拨重开终端即生效。自动故障转移是如何工作的理解故障转移只需要记住三条链路请求进入工具把请求发给 OpenRelay 的默认端口18765模型参数填你的组名如fast-group路由决策OpenRelay 按轮询策略挑一个可用成员发出请求故障切换当某个成员返回rate limit exceeded或不可用OpenRelay自动切换到组内下一个可用 Provider你的终端不会看到中断——这正是 faq.md 中rate limit exceeded一节的官方答案OpenRelay 会自动切换到下一个可用 Provider如果配置了模型组几个实用细节配额重置不用管大部分免费配额按分钟/小时/天重置被切掉的 Provider 恢复额度后会自动回到轮询池全局限流时的兜底如果组内成员全部限流等几分钟重试或往组里再添加 Provider多注册几个配额叠加更稳状态一目了然面板侧边栏的绿/红点 点击 Provider 查看的上次心跳与批量测试结果能帮你快速定位是哪个成员的 Key 失效了进阶让 IDE 也用模型组做后端CLI 工具只是起点。OpenRelay 的IDE标签页通过 RPC 代理把外部配额注入 IDE而代理的后端同样可以指向模型组——Cursor 的额度烧完了切到组里的 Claude Desktop 配额继续写IDE接入方式代理端口CursorRPC 代理ConnectRPC, HTTP/218780WindsurfRPC 代理ConnectRPC18766VS Code CopilotOllama BYOK 桥接18769AntigravityGemini REST 代理18767面板上为每个 IDE 选择 Provider 与模型后点启动IDE 必须通过面板的启动按钮打开Cursor 需点重启 Cursor直接打开会绕过代理。端口分配细节见 CHANGELOG.md。安全设计与版本说明新手最关心的两个问题① 凭据安全吗放心。凭据留在本机~/.openrelay/配置AI 请求从你的机器直连目标 ProviderOpenRelay 官方服务器不在请求链路中且默认不记录对话内容。凭据处理核心代码 src/cookie.ts 完全公开可审计更多细节见 PRIVACY.md 与 DISCLAIMER.md。② 模型组是免费功能吗OpenRelay 采用 Open Core 授权代理框架部分MIT免费可用而模型组合、更高请求量上限属于 Pro 功能见 COMMERCIAL-LICENSE.txt免费版默认 50 请求/天。没有 Pro 也能先用单 Provider 配置跑起来体验后再决定是否升级。常见问题速查Q模型名写什么写创建组时填的自定义模型名如fast-group不是组名备注也不是成员模型名Q组内模型档次差太多会怎样质量波动大界面提示已说明——尽量选同系列或同档位的模型Qrate limit exceeded一直出现说明组内成员全部限流等待重置或往组里加新 ProviderQ想删光所有数据配置文件在~/.openrelay/config.json删除该目录即可见 faq.md一句话总结用 Custom 标签页把 2~3 个同档位 Provider 的配额合并成一个模型组工具端只认一个模型名轮询摊薄消耗、限流自动转移——免费 AI 配额的天花板从此不再是停工的理由。【免费下载链接】openrelay几百个免费 AI 模型配额一键接入本地项目。| Hundreds of free AI model quotas, one-click access to local projects.项目地址: https://gitcode.com/gh_mirrors/openrel/openrelay创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表