OmniRoute
OmniRoute 是免费开源的 AI 网关,通过一个兼容 OpenAI 的端点路由数百家提供商,支持自动回退、19 种路由策略、上下文压缩、MCP 与 A2A 服务,以及本地优先的自托管部署。
访问 cheaper-inference/OmniRoute项目简介
OmniRoute 是免费开源的 AI 网关,在本地 20128 端口以单个兼容 OpenAI 的端点呈现多家提供商。它提供自动回退、路由策略、上下文压缩、本地优先存储、MCP 与 A2A 接口,以及用于管理提供商、组合、健康状态、成本和分析的本地仪表盘。
核心功能
- 一个兼容 OpenAI 的端点可在 /v1 接收 OpenAI、Claude、Gemini 和 Responses API 请求。自动回退与 19 种路由策略可在提供商不可用或额度耗尽时帮助请求继续推进。12 引擎压缩管线可将符合条件的上下文减少 15–95%。本地仪表盘可管理提供商、组合、分析、健康状态、成本、配额与韧性控制。内置 MCP 服务器在 33 个作用域中提供 110 个工具,A2A 服务器通过 JSON-RPC 2.0 提供 6 项技能。自托管与本地优先存储将运营数据保留在主机上,并支持加密凭证以及可选的代理和 TLS 指纹控制。
适用场景
- 可将同一基础地址用于 Claude Code、Codex、Cursor、Cline、Copilot 等编程工具及其他兼容 OpenAI 的客户端。可在路由到付费 API 前,先消耗已有的订阅或免费额度。可通过上下文压缩和成本优化路由降低令牌成本。可将网关暴露给 MCP 客户端、A2A 网络或受支持的云端编程代理。
快速开始
- 先全局安装 omniroute npm 包(npm install -g omniroute),再运行 omniroute 启动网关;仪表盘与 API 在 20128 端口提供服务。将兼容 OpenAI 的客户端指向本机 20128 端口的 /v1 路径;全新安装后,无密钥的 auto 路由即可使用。
部署与要求
- 支持的运行方式包括 npm、Docker、桌面应用、ARM 设备、Android/Termux、PWA、VS Code 扩展、OpenCode 插件以及从源码构建。npm 方式全局安装 omniroute 包;Android/Termux 方式通过 pkg install nodejs 安装 Node.js,并使用 npx -y omniroute 运行;Docker 镜像为支持 AMD64 和 ARM64 的多架构镜像。
采用前须知
- 许可证:MIT。在使用、修改或分发项目前,请确认其具体条款。