跳过主要内容
广告OpenFree logo推广你的产品触达更多潜在用户,助力产品增长与收益提升。投放广告
Favicon of OmniRoute

OmniRoute

Free 等级项目

OmniRoute 是免费开源的 AI 网关,通过一个兼容 OpenAI 的端点路由数百家提供商,支持自动回退、19 种路由策略、上下文压缩、MCP 与 A2A 服务,以及本地优先的自托管部署。

访问 cheaper-inference/OmniRoute

项目简介

OmniRoute 是免费开源的 AI 网关,在本地 20128 端口以单个兼容 OpenAI 的端点呈现多家提供商。它提供自动回退、路由策略、上下文压缩、本地优先存储、MCP 与 A2A 接口,以及用于管理提供商、组合、健康状态、成本和分析的本地仪表盘。

核心功能

  • 一个兼容 OpenAI 的端点可在 /v1 接收 OpenAI、Claude、Gemini 和 Responses API 请求。自动回退与 19 种路由策略可在提供商不可用或额度耗尽时帮助请求继续推进。12 引擎压缩管线可将符合条件的上下文减少 15–95%。本地仪表盘可管理提供商、组合、分析、健康状态、成本、配额与韧性控制。内置 MCP 服务器在 33 个作用域中提供 110 个工具,A2A 服务器通过 JSON-RPC 2.0 提供 6 项技能。自托管与本地优先存储将运营数据保留在主机上,并支持加密凭证以及可选的代理和 TLS 指纹控制。

适用场景

  • 可将同一基础地址用于 Claude Code、Codex、Cursor、Cline、Copilot 等编程工具及其他兼容 OpenAI 的客户端。可在路由到付费 API 前,先消耗已有的订阅或免费额度。可通过上下文压缩和成本优化路由降低令牌成本。可将网关暴露给 MCP 客户端、A2A 网络或受支持的云端编程代理。

快速开始

  • 先全局安装 omniroute npm 包(npm install -g omniroute),再运行 omniroute 启动网关;仪表盘与 API 在 20128 端口提供服务。将兼容 OpenAI 的客户端指向本机 20128 端口的 /v1 路径;全新安装后,无密钥的 auto 路由即可使用。

部署与要求

  • 支持的运行方式包括 npm、Docker、桌面应用、ARM 设备、Android/Termux、PWA、VS Code 扩展、OpenCode 插件以及从源码构建。npm 方式全局安装 omniroute 包;Android/Termux 方式通过 pkg install nodejs 安装 Node.js,并使用 npx -y omniroute 运行;Docker 镜像为支持 AMD64 和 ARM64 的多架构镜像。

采用前须知

  • 许可证:MIT。在使用、修改或分发项目前,请确认其具体条款。

评论

登录 后发表评论。

更多类似 OmniRoute 的项目

Favicon of New API

New API

Free 等级项目星标数: 50.6K

面向模型、应用与智能体的统一 AI 网关

模型网关与路由

New API 是一个自托管的 AI 网关和模型枢纽,通过兼容 OpenAI、Claude 与 Gemini 的接口统一接入 30+ 家 AI 服务商,并在一个控制台中管理路由、访问、用量和成本。

Favicon of llm-d

llm-d

Free 等级项目星标数: 4.9K

Kubernetes 原生分布式 LLM 推理栈

模型网关与路由

llm-d 是一个开源、Kubernetes 原生的分布式 LLM 推理栈。它可在集群中运行 vLLM、SGLang 等模型服务器,将单节点推理引擎转化为可在现有硬件上生产级部署的推理服务。

Favicon of Helicone

Helicone

Free 等级项目星标数: 6.2K

AI 网关与 LLM 可观测性平台

模型网关与路由

Helicone 是一个开源 LLM 可观测性与 AI 网关平台。它为可靠的 AI 应用提供路由与监控,让开发者只需一行代码即可监控、评估和实验。