跳过主要内容
广告OpenFree logo推广你的产品触达更多潜在用户,助力产品增长与收益提升。投放广告

标记为“Llama 生态”的工具

Favicon of llama.cpp

llama.cpp

Free 等级项目星标数: 129.5K

C/C++ 实现的 LLM 推理

语言模型

用 C/C++ 实现 LLM 推理,以最简设置和一流性能在本地和云端的各种硬件上运行。

Favicon of SGLang

SGLang

Free 等级项目星标数: 37.2K

高性能大语言与多模态模型服务

多模态模型

SGLang 是面向大语言模型与多模态模型的高性能服务框架,旨在为多种模型和硬件平台提供快速、可扩展的推理。

Favicon of Locally Uncensored

Locally Uncensored

Free 等级项目星标数: 3K

免费开源的桌面本地 AI 工作室

聊天界面

Locally Uncensored 是一款免费开源的桌面本地 AI 工作室,将聊天、编程、图像生成和视频生成整合在一个应用中。无需命令行或 Docker,本地运行,也可选配 LU Cloud。

广告
OpenFree logo推广你的产品

触达更多潜在用户,助力产品增长与收益提升。

投放广告