跳过主要内容
广告OpenFree logo推广你的产品触达更多潜在用户,助力产品增长与收益提升。投放广告
Favicon of New API

New API

Free 等级项目

New API 是一个自托管的 AI 网关和模型枢纽,通过兼容 OpenAI、Claude 与 Gemini 的接口统一接入 30+ 家 AI 服务商,并在一个控制台中管理路由、访问、用量和成本。

访问 QuantumNous/new-api

项目简介

New API 是面向应用、智能体和团队的自托管 AI 网关。它连接 OpenAI、Anthropic、Google Gemini、Azure OpenAI、AWS Bedrock、Vertex AI、DeepSeek、Qwen 等上游模型服务,向客户端提供一致的 API,并将路由、访问控制、用量跟踪和成本核算集中管理。

核心功能

  • 通过单一端点统一访问 30+ 家 AI 服务商和 100+ 个模型;支持 OpenAI Chat Completions 与 Responses、Anthropic Messages 和 Gemini API,并在上游支持时提供流式响应、工具调用、推理和多模态输入;提供模型映射、渠道优先级与权重、重试、渠道亲和性和多个上游密钥等路由控制;支持配额、订阅、用量日志、缓存计量和按使用层级进行表达式定价的用量与成本管理;提供用户、分组、细粒度权限和 API 密钥限制,并支持 OAuth/OIDC、通行密钥、双因素认证和登录会话管理;提供 Web

适用场景

  • 在团队内共享经过授权的模型访问,并在切换上游服务商时无需重新配置每个客户端;通过 Web 控制台运营私有的多模型服务,统一管理渠道、模型、用量和成本;集中处理组织级身份认证、多模型管理、用量分析、成本核算和私有部署。

快速开始

  • 使用 Docker 和 SQLite 在本地启动单实例,将数据持久化到挂载的数据目录,然后打开 3000 端口的控制台并完成设置向导以创建管理员账户;添加渠道,填写上游 API 密钥、可用模型和分组,并运行渠道测试;配置模型定价,确保用户有配额或有效订阅,然后在控制台中创建可访问同一分组和模型的 API 密钥;将兼容 OpenAI 的客户端指向本地 /v1 基础 URL,并使用 New API 签发的密钥;通过 GET /v1/models 列出可访问模型,并调用 /v1/responses 等受支持的端点。

部署与要求

  • 主数据库可选 SQLite、MySQL 5.7.8 或更高版本,或 PostgreSQL 9.6 或更高版本;可通过 LOG_SQL_DSN 配置独立的日志数据库,也支持 ClickHouse;Redis 为可选的缓存,需要共享速率限制的应用节点必须使用共享 Redis;仓库中的 Docker Compose 配置默认启动 New API、PostgreSQL 和 Redis,并包含 MySQL 与独立 ClickHouse 日志数据库示例;启动 Docker Compose 前,请替换数据库和 Redis 示例密码,并设置持久化的随机

采用前须知

  • 许可证:AGPL-3.0。在使用、修改或分发项目前,请确认其具体条款。

评论

登录 后发表评论。

更多类似 New API 的项目

Favicon of llm-d

llm-d

Free 等级项目星标数: 4.9K

Kubernetes 原生分布式 LLM 推理栈

模型网关与路由

llm-d 是一个开源、Kubernetes 原生的分布式 LLM 推理栈。它可在集群中运行 vLLM、SGLang 等模型服务器,将单节点推理引擎转化为可在现有硬件上生产级部署的推理服务。

Favicon of Helicone

Helicone

Free 等级项目星标数: 6.2K

AI 网关与 LLM 可观测性平台

模型网关与路由

Helicone 是一个开源 LLM 可观测性与 AI 网关平台。它为可靠的 AI 应用提供路由与监控,让开发者只需一行代码即可监控、评估和实验。