触达更多潜在用户,助力产品增长与收益提升。
投放广告推理服务与 API
生产级批处理、调度、兼容 API 与模型服务。
vLLM
Free 等级项目星标数: 94.2K面向所有人,简单、快速且经济高效的 LLM 服务。
推理服务与 API
vLLM 是面向大语言模型的高吞吐、内存高效推理与服务引擎,旨在让人人都能简单、快速且经济高效地部署 LLM 服务。
DwarfStar
Free 等级项目星标数: 24K面向消费级硬件的精选大模型本地推理引擎
推理服务与 API
DwarfStar 是一个小型原生推理引擎,专注于在消费级硬件上运行 DeepSeek、GLM 和 Qwen 等精选大语言模型,支持 Metal、CUDA 和 ROCm。它要求使用项目自身产出的 GGUF 文件,并非通用 GGUF 运行器。
DeepInfer
Free 等级项目星标数: 7.9K面向 DeepSeek 模型的高性能大规模推理框架
推理服务与 API
DeepInfer 是面向 DeepSeek 模型的高性能、大规模推理框架。本次开源版本提供离线推理,包含优化内核、并行、调度、确定性采样和结构化输出等大规模服务所需的核心能力。

