跳过主要内容
广告OpenFree logo推广你的产品触达更多潜在用户,助力产品增长与收益提升。投放广告
Favicon of llama.cpp

llama.cpp

Free 等级项目

用 C/C++ 实现 LLM 推理,以最简设置和一流性能在本地和云端的各种硬件上运行。

访问 ggml-org/llama.cpp

项目简介

llama.cpp 支持 LLM 和 VLM 推理,以最简设置和一流性能在本地和云端的各种硬件上运行。它基于 ggml 库构建。

核心功能

  • 纯 C/C++ 实现,无任何依赖
  • 针对 Apple 芯片优化,使用 ARM NEON、Accelerate 和 Metal 框架
  • 支持 1.5 位到 8 位的整数量化,加快推理并减少内存使用
  • 为 NVIDIA GPU 提供自定义 CUDA 内核,通过 HIP 支持 AMD,通过 MUSA 支持摩尔线程
  • 支持 Vulkan 和 SYCL 后端
  • 支持 CPU+GPU 混合推理,以处理大于显存容量的模型

适用场景

  • 从 Hugging Face 本地运行 LLM 和 VLM 模型
  • 启动兼容 OpenAI 的 API 服务器
  • 使用内置 Web UI 进行交互式会话
  • 通过 CPU+GPU 混合推理加速大型模型

快速开始

  • 访问 https://llama\.app 并按照说明操作
  • 使用 Docker 运行(参见 Docker 文档)
  • 从发布页面下载预构建二进制文件
  • 通过克隆仓库从源码构建(参见构建指南)
  • 示例:llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF

部署与要求

  • 支持多种硬件后端,包括 CPU、NVIDIA GPU(CUDA)、AMD GPU(HIP)、Apple Silicon(Metal)、Intel GPU(SYCL)、Vulkan、WebGPU 等
  • 核心实现无外部依赖
  • 可通过 Docker 或预构建二进制文件部署

采用前须知

  • 许可证:MIT。在使用、修改或分发项目前,请确认其具体条款。

评论

登录 后发表评论。

更多类似 llama.cpp 的项目

Favicon of Edge0

Edge0

Free 等级项目星标数: 11K

面向端侧 AI 的设备原生基础模型

语言模型

Edge0 提供设备原生基础模型与开源流式 MoE 推理框架,可在笔记本上运行 145B、在手机上运行 35B 等大型稀疏模型,通过 SSD 流式加载权重,支持离线端侧处理与零令牌成本。

Favicon of kimi-k3-in-c

kimi-k3-in-c

Free 等级项目星标数: 10K

用 C99 在单 CPU、8 GB 内存上运行 2.78 万亿参数 Kimi K3

语言模型

通过从磁盘流式读取模型而非全部载入内存,kimi-k3-in-c 可在单 CPU、8.24 GB 峰值内存下运行 2.78 万亿参数的 Kimi K3。项目使用可移植 C99,不依赖 BLAS、框架或 GPU。

Favicon of nanochat

nanochat

Free 等级项目星标数: 60.1K

单张 GPU 节点上端到端训练 LLM 的极简实验框架

语言模型

nanochat 是一个极简、可修改的 LLM 训练实验框架,覆盖分词、预训练、微调、评估和推理,可在单张 GPU 节点上端到端运行,并被称为“100 美元能买到的最好的 ChatGPT”。