LMCache

项目简介

LMCache 是厂商中立的 LLM 推理 KV 缓存管理层。它把 KV 缓存转化为可复用的 AI 原生内存，可在 GPU 内存、CPU 内存、本地存储和外部后端之间存储、压缩、搜索、传输和观测，面向长提示、对话历史和检索内容在多次请求中重复使用的工作负载。

核心功能

• 支持持久化、分层 KV 缓存卸载与复用，覆盖请求、会话和引擎实例之间的复用。支持与推理引擎无关的部署，包括以独立多进程服务器模式将 KV 缓存管理与推理引擎隔离。支持可插拔存储和传输后端，包括 CPU RAM、本地磁盘、Redis/Valkey、Mooncake、InfiniStore、兼容 S3 的对象存储、NIXL 和 GDS。通过 CacheBlend 支持非前缀 KV 复用，可复用提示中任意位置的缓存 KV 块，并选择性重算 token 以恢复质量。支持预填充-解码分离场景下的 KV 缓存传输，可通过 NIXL 等传输层经

适用场景

• 适用于长上下文智能体工作负载和多轮对话，其中的上下文会被反复复用。适用于 RAG 等知识增强工作负载，可在请求之间复用检索内容。适用于需要在工作进程之间或在预填充与解码阶段之间迁移 KV 缓存的分布式推理部署。适用于希望在复用已存储 KV 缓存的同时切换推理引擎或存储后端的团队。

快速开始

• 可通过 pip 安装 LMCache：pip install lmcache。设置选项与示例可查阅安装、快速开始、部署配方、CLI 参考、基准测试指南、生产部署和 FAQ 文档。

部署与要求

• 无需架构改动；选择与你环境匹配的部署模式即可。

采用前须知

• 许可证：Apache-2.0。在使用、修改或分发项目前，请确认其具体条款。