Colibri

项目简介

Colibri 是用于在已有硬件上运行大型语言模型及其他模型的开源推理引擎。它把模型权重分布在 GPU 显存、系统内存和存储之间，让稠密部分留在内存，并在路由器请求时从磁盘流式读取被路由的混合专家权重。项目提供仪表盘、模型目录、API、MCP 支持和命令行工具。

核心功能

• 模型权重按 GPU 显存、系统内存和存储的层级放置，被路由的专家在需要时从磁盘流式读取。混合专家路由为每个 token 只激活一部分专家，使整体模型无法装入快速内存的机器也能运行超大模型。支持 CPU 推理，并可通过 CUDA、Vulkan 和 Metal 使用 GPU 加速，覆盖 Windows、Linux 和 macOS。仪表盘汇集本地聊天、专家路由、活动和结构化决策，并显示引擎的真实时序与吞吐。兼容 OpenAI 和 Anthropic 接口、MCP，以及名为 coli 的命令行工具，便于智能体和工作流接入。支持 21 个目录条目和 13

适用场景

• 在自有硬件上本地运行大型开源混合专家语言模型，包括需要从磁盘流式读取专家的模型。通过 OpenAI 兼容、Anthropic 兼容、MCP 或命令行接口，让聊天、编码智能体和自动化工具使用本地模型。用概率完成结构化选择，例如路由请求、选择操作或给信号打分。借助仪表盘和可复现的端到端基准，研究和衡量推理优化。

快速开始

• Windows 用户下载项目 ZIP，解压后运行 START-HERE.bat。Ubuntu 或 Debian 用户安装 git、python3 和 build-essential，克隆 Colibri 仓库，然后运行 ./start-here.sh。macOS 用户通过 Homebrew 安装 Xcode 命令行工具以及 libomp、git 和 python，克隆仓库后运行 ./start-here.sh。安装程序会检查内存、磁盘、CPU 和 GPU，推荐合适的模型，构建或下载引擎，支持断点续传下载模型，并打开仪表盘。之后再次运行

部署与要求

• 至少 8 GB 内存，16 GB 或更多更合适。最小模型需要 22 GB 可用磁盘空间，另需按模型预留下载和缓存空间。安装和下载模型需要互联网连接；显卡可选。支持 Windows、Linux 和 macOS；内存、磁盘和后端需求取决于所选模型。安装程序可在有编译器时为本机构建引擎，没有编译器时下载预构建版本。

采用前须知

• 许可证：Apache-2.0。在使用、修改或分发项目前，请确认其具体条款。