billion-context

项目简介

billion-context 位于智能体与其模型 API 之间，使用 acp-kernel 压缩重写 Anthropic 或 OpenAI 流式响应。它把已消耗的对话压缩为分层摘要，使单次会话可以持续数天；由模型决定何时压缩、压缩什么，而不是依赖硬性截断上限。压缩被描述为增量式、可逆且对前缀缓存友好。

核心功能

• 将已消耗的对话压缩为分层摘要，使一个上下文窗口足以支撑持续数天、累计数十亿 token 的会话。
• 作为智能体与模型 API 之间的代理，解析 Anthropic 或 OpenAI 请求格式并重写流式响应。
• 注入上下文管理工具：compress、decompress、search_context 和 acp_status。
• 压缩为增量式、可逆且对前缀缓存友好，摘要可按需恢复。
• 提供原生插件、启动器和 base URL 前缀三种使用方式，覆盖多种编码客户端。
• 将健康会话描述为保持 95–97% 的前缀缓存命中率，压缩本身开销不超过 2%。

适用场景

• 原本会超出模型上下文窗口的长时间编码会话。
• 在智能体交互中减少 token 用量与成本。
• 让单个智能体会话连续运行数天或数月，并处理数十亿 token。
• 为 Claude Code、Codex、OpenCode、pi、Gemini CLI 等客户端加入上下文压缩。

快速开始

• 在 Linux 或 macOS 上执行 npm install -g billion-context --prefix=~/.local 安装，在 Windows 上执行 npm install -g billion-context。
• 选择使用方式：原生插件用 bili plugin install <客户端>，启动器用 bili <客户端>，或先启动 bili 再把客户端 base URL 前缀设为本地代理的 /bili/ 路径。
• 原生插件模式支持的客户端包括 pi、omp、opencode、dsh、kimi、hermes 和 zcode。

部署与要求

• 通过 npm 安装；全局包提供 bili 命令，并保留 bili-proxy 作为别名。
• 在 Linux 或 macOS 上使用用户级 npm 前缀可避免 sudo 与权限错误；Windows 默认 npm 前缀可由用户写入。
• 原生插件模式要求客户端具备插件接入点；不具备的客户端使用启动器或 /bili/ 前缀方式。
• 部分启动器模式依赖基于证书的 MITM 或特定环境的基础 URL 重写，具体取决于客户端。
• 手动执行 bili start 使用 8787 端口；客户端通道使用从 18787 开始的自管理端口区，冲突时逐个加一。

采用前须知

• 许可证：Other。在使用、修改或分发项目前，请确认其具体条款。