触达更多潜在用户,助力产品增长与收益提升。
投放广告标记为“ROCm”的工具
vLLM
Free 等级项目星标数: 94.2K面向所有人,简单、快速且经济高效的 LLM 服务。
推理服务与 API
vLLM 是面向大语言模型的高吞吐、内存高效推理与服务引擎,旨在让人人都能简单、快速且经济高效地部署 LLM 服务。
llmfit
Free 等级项目星标数: 38.5K一条命令找出适合你硬件的模型。
评测与基准
llmfit 会检测 CPU、内存、GPU、显存和加速器配置,并按适配度、速度、质量和上下文对数百个开源大模型及不同量化版本进行排序,帮助你判断哪些模型能在本机良好运行。
DwarfStar
Free 等级项目星标数: 24K面向消费级硬件的精选大模型本地推理引擎
推理服务与 API
DwarfStar 是一个小型原生推理引擎,专注于在消费级硬件上运行 DeepSeek、GLM 和 Qwen 等精选大语言模型,支持 Metal、CUDA 和 ROCm。它要求使用项目自身产出的 GGUF 文件,并非通用 GGUF 运行器。
Kev
Free 等级项目星标数: 9.6K可自行训练和运行的小型 Jev 式决策模型。
语言模型
Kev 是建立在 Qwen3.5 和 Qwen3.8 之上的小型决策模型家族,基于 Jev 架构。可使用预训练权重或自行训练,并在一次请求中处理是/否、多选和评分问题。
ATLAS
Free 等级项目星标数: 2.1K面向紧凑开源模型的本地编码代理
编程助手与编辑器
ATLAS 是 Inferstep 的本地编码代理;Inferstep 是一家挑战行业规模假设的开放实验室。ATLAS 在紧凑开源模型周围加入规划、候选生成、质量评分、沙箱测试与修复,让真实软件工作可在本地硬件完成,无需托管 API 或按 token 付费。

