FreeLLMAPI

项目简介

FreeLLMAPI 是一个开源、自托管、单用户的 LLM 路由工具，将数十家 LLM 提供商的免费额度与自定义 OpenAI 兼容端点聚合到一个 OpenAI 兼容的 /v1 API 之后。它以加密方式存储提供商密钥，在模型和提供商之间进行路由，在某个提供商被限流时自动故障转移，并按密钥跟踪用量以保持在免费额度上限内。来源称聚合后的免费额度约为每月 74 亿个免费 Token。

核心功能

• 一个 OpenAI 兼容的 /v1 端点覆盖聊天、Responses、补全、图像、视频、音频、嵌入和模型，并支持流式与非流式；兼容 Anthropic Messages API（/v1/messages），并提供原生 Gemini /v1beta 与可选的 Ollama 模拟接口；智能路由提供六种策略、在 429/5xx 时自动故障转移、冷却与密钥轮换，以及带回退链的统一模型配置；按密钥跟踪 RPM/RPD/TPM/TPD，并学习提供商报告的上限，使请求保持在免费额度内；提供商密钥以 AES-256-GCM 加密存储在 SQLite

适用场景

• 将 OpenAI 兼容 SDK 和客户端指向本地路由器，通过一个基础 URL 和统一密钥使用免费提供商额度；让 Claude Code、Codex CLI、Gemini CLI、Cursor、Cline、Roo Code、OpenCode、Aider 等编码代理和 CLI 使用聚合池；通过虚拟 fusion 模型进行多模型合成实验，将提示并行发送给多个免费模型并合成一个答案；通过支持的媒体端点生成图像、视频和语音，包括自定义 OpenAI 兼容媒体端点。

快速开始

• 运行基于 Docker 的安装脚本，打开端口 3001 上的本地仪表盘，在密钥页面添加提供商密钥，调整回退链顺序，并复制统一 API 密钥；对于受支持的编码代理，可使用提供的 npx freellmapi setup 命令配合本地路由器 URL 和统一密钥自动合并配置。

部署与要求

• 一次性安装脚本需要 Docker；路由器可运行在任何支持 Node 20+ 的环境，包括 Windows、macOS、Linux 服务器或树莓派等小型 ARM 单板机；macOS 12 Monterey 或更高版本以及 Windows 可通过 Releases 中的安装程序使用桌面版；提供商密钥存储在本地 SQLite 数据库中并静态加密。

采用前须知

• 许可证：MIT。在使用、修改或分发项目前，请确认其具体条款。