SGLang

项目简介

SGLang 是面向大语言模型与多模态模型的高性能服务框架。它为大规模部署提供生产级推理，可从单 GPU 扩展到分布式集群，并支持广泛的开放模型和硬件平台。

核心功能

• 生产级推理面向大规模部署，可从单 GPU 到分布式集群提供可靠、低延迟、高吞吐的服务。模型与硬件灵活性覆盖从 LLM 到扩散模型等广泛开放模型，并可在多种硬件平台运行。高级优化包括分离式预填充/解码、投机解码、并行、零开销调度器和优化的 GPU 内核。提供 OpenAI 兼容的 API 端点，用于查询所服务的模型。支持 NVIDIA GPU、AMD GPU、CPU 服务器、TPU、Ascend NPU 和 XPU。

适用场景

• 大语言和多模态模型的大规模生产推理。在单 GPU 和分布式集群部署中服务开放模型。在多种硬件上运行扩散模型和其他受支持的开放模型。可使用会话感知缓存的智能体和 RL rollout 工作负载。

快速开始

• 通过 pip 或 Docker 安装。使用指向模型的单条命令启动服务器。使用标准 OpenAI 兼容端点查询 API。

部署与要求

• 支持的硬件包括 NVIDIA GPU、AMD GPU、CPU 服务器、TPU、Ascend NPU 和 XPU。安装选项包括 Python（uv）、Python 或 Docker。安装程序提供 Stable 或 Nightly 构建、CUDA、ROCm、XPU 或 CPU 平台，以及 CUDA 12.9 或 CUDA 13.0 版本。

采用前须知

• 许可证：Apache-2.0。在使用、修改或分发项目前，请确认其具体条款。