跳过主要内容
广告OpenFree logo推广你的产品触达更多潜在用户,助力产品增长与收益提升。投放广告

标记为“ROCm”的工具

Favicon of llama.cpp

llama.cpp

Free 等级项目星标数: 129.5K

C/C++ 实现的 LLM 推理

语言模型

用 C/C++ 实现 LLM 推理,以最简设置和一流性能在本地和云端的各种硬件上运行。

Favicon of vLLM

vLLM

Free 等级项目星标数: 94.2K

面向所有人,简单、快速且经济高效的 LLM 服务。

推理服务与 API

vLLM 是面向大语言模型的高吞吐、内存高效推理与服务引擎,旨在让人人都能简单、快速且经济高效地部署 LLM 服务。

Favicon of llmfit

llmfit

Free 等级项目星标数: 38.5K

一条命令找出适合你硬件的模型。

评测与基准

llmfit 会检测 CPU、内存、GPU、显存和加速器配置,并按适配度、速度、质量和上下文对数百个开源大模型及不同量化版本进行排序,帮助你判断哪些模型能在本机良好运行。

Favicon of SGLang

SGLang

Free 等级项目星标数: 37.2K

高性能大语言与多模态模型服务

多模态模型

SGLang 是面向大语言模型与多模态模型的高性能服务框架,旨在为多种模型和硬件平台提供快速、可扩展的推理。

Favicon of DwarfStar

DwarfStar

Free 等级项目星标数: 24K

面向消费级硬件的精选大模型本地推理引擎

推理服务与 API

DwarfStar 是一个小型原生推理引擎,专注于在消费级硬件上运行 DeepSeek、GLM 和 Qwen 等精选大语言模型,支持 Metal、CUDA 和 ROCm。它要求使用项目自身产出的 GGUF 文件,并非通用 GGUF 运行器。

Favicon of Kev

Kev

Free 等级项目星标数: 9.6K

可自行训练和运行的小型 Jev 式决策模型。

语言模型

Kev 是建立在 Qwen3.5 和 Qwen3.8 之上的小型决策模型家族,基于 Jev 架构。可使用预训练权重或自行训练,并在一次请求中处理是/否、多选和评分问题。

Favicon of ATLAS

ATLAS

Free 等级项目星标数: 2.1K

面向紧凑开源模型的本地编码代理

编程助手与编辑器

ATLAS 是 Inferstep 的本地编码代理;Inferstep 是一家挑战行业规模假设的开放实验室。ATLAS 在紧凑开源模型周围加入规划、候选生成、质量评分、沙箱测试与修复,让真实软件工作可在本地硬件完成,无需托管 API 或按 token 付费。

广告
OpenFree logo推广你的产品

触达更多潜在用户,助力产品增长与收益提升。

投放广告