跳过主要内容
广告OpenFree logo推广你的产品触达更多潜在用户,助力产品增长与收益提升。投放广告

推理服务与 API

生产级批处理、调度、兼容 API 与模型服务。

Favicon of vLLM

vLLM

Free 等级项目星标数: 94.2K

面向所有人,简单、快速且经济高效的 LLM 服务。

推理服务与 API

vLLM 是面向大语言模型的高吞吐、内存高效推理与服务引擎,旨在让人人都能简单、快速且经济高效地部署 LLM 服务。

Favicon of DwarfStar

DwarfStar

Free 等级项目星标数: 24K

面向消费级硬件的精选大模型本地推理引擎

推理服务与 API

DwarfStar 是一个小型原生推理引擎,专注于在消费级硬件上运行 DeepSeek、GLM 和 Qwen 等精选大语言模型,支持 Metal、CUDA 和 ROCm。它要求使用项目自身产出的 GGUF 文件,并非通用 GGUF 运行器。

Favicon of DeepInfer

DeepInfer

Free 等级项目星标数: 7.9K

面向 DeepSeek 模型的高性能大规模推理框架

推理服务与 API

DeepInfer 是面向 DeepSeek 模型的高性能、大规模推理框架。本次开源版本提供离线推理,包含优化内核、并行、调度、确定性采样和结构化输出等大规模服务所需的核心能力。

广告
OpenFree logo推广你的产品

触达更多潜在用户,助力产品增长与收益提升。

投放广告