vLLM

项目简介

vLLM 是一个用于 LLM 推理与服务的开源库和服务引擎，最初由加州大学伯克利分校 Sky Computing Lab 开发。它借助 PagedAttention 实现高效的注意力键值内存管理，并提供业界领先的服务吞吐量。

核心功能

• 借助连续批处理、分块预填充和前缀缓存实现业界领先的服务吞吐量。
• 使用 PagedAttention 高效管理注意力键和值内存。
• 支持 FP8、INT8、INT4、GPTQ/AWQ、GGUF 等量化方式。
• 提供 OpenAI 兼容 API 服务器，并支持 Anthropic Messages API 和 gRPC。
• 支持张量、流水线、数据、专家和上下文并行，用于分布式推理。
• 支持 Hugging Face 上 200 多种模型架构以及多种硬件平台。

适用场景

• 通过 OpenAI 兼容 API 为开源 LLM 提供服务。
• 以优化的 GPU 利用率进行高吞吐生产推理。
• 运行量化模型以降低推理成本。
• 在 NVIDIA、AMD、Intel、CPU 及其他硬件环境中部署模型。

快速开始

• 使用 uv 安装 vLLM：uv pip install vllm。
• 可选运行 vllm download-kernels，以获取预编译内核并加快启动。
• 也可从源码构建用于开发。

部署与要求

• 需要 Python 3.10+；建议使用 Python 3.12+。
• 建议使用 uv 以获得更快、更可靠的安装体验。
• 支持 NVIDIA CUDA、AMD ROCm、Intel XPU 和 CPU 等平台。

采用前须知

• 许可证：Apache-2.0。在使用、修改或分发项目前，请确认其具体条款。