llm-d

项目简介

llm-d 是一个开源、Kubernetes 原生的分布式 LLM 推理栈。它编排 vLLM、SGLang 等模型服务器，在集群和受支持的加速器上提供生产级推理服务。

核心功能

• 智能路由支持前缀缓存和负载感知均衡，并包含实验性的预测延迟调度；高级 KV 缓存管理支持向 CPU 或磁盘分层卸载，以及对 KV 缓存状态进行全局索引；通过预填充/解码分离和基于高速加速器互连的宽专家并行来服务大型模型；面向生产运维提供多租户服务的流控和基于 SLO 的自动扩缩容；批处理支持 OpenAI 兼容的 Batch API 和面向离线推理的异步处理；可移植到 GPU、TPU、XPU、CPU 和新兴 NPU。

适用场景

• 在 Kubernetes 上为生产 LLM 服务部署优化基线；按预测延迟或精确的前缀缓存感知来路由请求；通过分离和宽专家并行扩展 DeepSeek-R1、GPT-OSS 等大型模型；使用 OpenAI 兼容的 Batch API 运行大规模离线推理。

快速开始

• 按照快速入门指南在 Kubernetes 上部署优化后的推理服务；搭建 llm-d 栈、配置智能路由器，并使用生产级基准验证性能；多数用户从 Optimized Baseline 这条 Well-Lit Path 开始。

部署与要求

• 需要一个 Kubernetes 集群；受支持的加速器包括 GPU、TPU、XPU、CPU 和新兴 NPU；推理栈中包含 vLLM、SGLang 等模型服务器或其他模型服务器。

采用前须知

• 许可证：Apache-2.0。在使用、修改或分发项目前，请确认其具体条款。