DwarfStar

项目简介

DwarfStar 是一个小型原生推理引擎，目标是在消费者真正能拥有的硬件上运行少量优秀的大语言模型。它重点支持 DeepSeek V4 Flash 和 PRO、GLM 5.2 和 5.3、GLM 5.3 Flash 以及 Qwen3.8 Flash Next，后端覆盖 Metal、CUDA 和 ROCm。项目代码自包含且刻意保持狭窄范围，要求使用项目自身产出的 GGUF 文件，并非通用 GGUF 运行器。

核心功能

• 提供面向精选 DeepSeek、GLM 和 Qwen 模型的原生推理，部分模型支持实验性视觉；后端覆盖 Metal、NVIDIA CUDA 和 ROCm；代码自包含，只面向项目产出的 GGUF 文件，并非通用 GGUF 运行器；集成测试覆盖模型加载、提示渲染、工具调用、KV 状态、HTTP 服务器和编码代理；仓库还包含 GGUF、imatrix、质量和速度相关工具与数据；支持 SSD 流式加载、两台 128 GB Mac 通过 RDMA 进行张量并行、流水线并行以及多 GPU CUDA 配置。

适用场景

• 可在 MacBook、DGX Spark 或 Strix Halo 等消费级系统上运行能力较强的本地模型；可将多张 CUDA 卡用作多用户 LLM 服务器；可用两台 128 GB Mac 通过 RDMA 进行张量并行推理；可用流水线并行组合多台系统，汇总内存以运行更大模型。

快速开始

• 克隆仓库并进入 ds4 目录。在 Apple Silicon 上使用 make 构建 Metal 版本；DGX Spark 使用 make cuda-spark；Strix Halo 使用 make strix-halo；一张或多张 CUDA 卡使用 make cuda-generic。首次在 96 或 128 GB 机器上运行时，执行 ./download_model.sh ds4f-q2，下载内容位于 gguf/。之后可运行 ./ds4 使用默认模型，或运行 ./ds4 -p "Explain Redis streams in one

部署与要求

• Metal 是主要目标，64 GB Mac 可运行 Qwen Flash Next，96 GB 以上用于 DeepSeek 和 GLM；更小的机器可使用 SSD 流式加载。NVIDIA CUDA 面向 DGX Spark 和多 GPU 系统，包括 Ada Lovelace 卡如 L40S；ROCm 支持 Strix Halo 系统如 Framework Desktop。下载内容放在 gguf/，需要为上下文和运行时缓冲区以及模型留出内存。Engram 表在所有模式下都保留在磁盘上，因此需要快速本地 SSD。

采用前须知

• 许可证：MIT。在使用、修改或分发项目前，请确认其具体条款。