TurboFieldfare
TurboFieldfare 是面向 Gemma 4 26B-A4B 的 Swift 与 Metal 推理运行时,通过从 SSD 流式读取路由专家、将共享权重和 KV 缓存驻留内存,在 Apple Silicon Mac 上以约 2 GB 内存运行模型。
访问 drumih/turbo-fieldfare项目简介
TurboFieldfare 是专为指令调优的 Gemma 4 26B-A4B 构建的 Swift 与 Metal 运行时及原生 Mac 应用。它将共享核心和 FP16 KV 缓存保留在内存中,仅从 SSD 流式读取每个 token 所需的路由专家,使模型可在 8 GB 内存的 Apple Silicon Mac 上运行。项目还提供命令行界面、流式模型安装与校验工具,以及实验性的回环 OpenAI 兼容 Chat Completions 服务器。
核心功能
- 运行 Gemma 4 26B-A4B IT 时,权重和 4K KV 缓存约占 2 GB,并通过从 SSD 流式读取路由专家来降低内存占用。提供原生 Mac 应用、命令行界面、流式模型安装与校验工具,以及回环 OpenAI 兼容服务器。自定义 Swift 与 Metal 运行时采用 4 位 MLX 仿射权重、8 位路由器和用于量化 GEMV、注意力、MoE、归一化、RoPE 与采样的 Metal 内核。提示词使用分块预填充,随后逐 token 生成,KV 以 FP16 存储。在 M2 或更新 Apple Silicon Mac
适用场景
- 在包括 8 GB 机型在内的低内存 Apple Silicon Mac 上进行本地指令聊天和文本生成。使用已安装的 .gturbo 模型进行命令行聊天和原始补全。让客户端连接本地 OpenAI 兼容 Chat Completions 端点进行测试,包括流式响应和由客户端处理的函数工具声明。在受支持的 M2 或更新硬件上安装可选视觉包后,可进行图像问答。
快速开始
- 克隆仓库,运行 swift build -c release,然后启动 .build/release/TurboFieldfareMac。在应用中选择 Download Model 获取并重新打包固定模型,随后选择 Load Model、输入提示词并选择 Generate。
部署与要求
- Apple Silicon Mac;已验证目标为 8 GB 内存的 M2 MacBook Air。macOS 26 与 Metal 4。Apple Command Line Tools 或 Xcode,需 Swift 6.2+ 和 macOS 26 SDK 或更新版本。需要足够可用存储空间来安装约 14.3 GB 的模型,首次安装模型需要互联网连接。软件包仅支持 arm64,不支持较旧的 macOS 和 Metal 版本。
采用前须知
- 许可证:Apache-2.0。在使用、修改或分发项目前,请确认其具体条款。