跳过主要内容
广告OpenFree logo推广你的产品触达更多潜在用户,助力产品增长与收益提升。投放广告
Favicon of TurboFieldfare

TurboFieldfare

Free 等级项目

TurboFieldfare 是面向 Gemma 4 26B-A4B 的 Swift 与 Metal 推理运行时,通过从 SSD 流式读取路由专家、将共享权重和 KV 缓存驻留内存,在 Apple Silicon Mac 上以约 2 GB 内存运行模型。

访问 drumih/turbo-fieldfare

项目简介

TurboFieldfare 是专为指令调优的 Gemma 4 26B-A4B 构建的 Swift 与 Metal 运行时及原生 Mac 应用。它将共享核心和 FP16 KV 缓存保留在内存中,仅从 SSD 流式读取每个 token 所需的路由专家,使模型可在 8 GB 内存的 Apple Silicon Mac 上运行。项目还提供命令行界面、流式模型安装与校验工具,以及实验性的回环 OpenAI 兼容 Chat Completions 服务器。

核心功能

  • 运行 Gemma 4 26B-A4B IT 时,权重和 4K KV 缓存约占 2 GB,并通过从 SSD 流式读取路由专家来降低内存占用。提供原生 Mac 应用、命令行界面、流式模型安装与校验工具,以及回环 OpenAI 兼容服务器。自定义 Swift 与 Metal 运行时采用 4 位 MLX 仿射权重、8 位路由器和用于量化 GEMV、注意力、MoE、归一化、RoPE 与采样的 Metal 内核。提示词使用分块预填充,随后逐 token 生成,KV 以 FP16 存储。在 M2 或更新 Apple Silicon Mac

适用场景

  • 在包括 8 GB 机型在内的低内存 Apple Silicon Mac 上进行本地指令聊天和文本生成。使用已安装的 .gturbo 模型进行命令行聊天和原始补全。让客户端连接本地 OpenAI 兼容 Chat Completions 端点进行测试,包括流式响应和由客户端处理的函数工具声明。在受支持的 M2 或更新硬件上安装可选视觉包后,可进行图像问答。

快速开始

  • 克隆仓库,运行 swift build -c release,然后启动 .build/release/TurboFieldfareMac。在应用中选择 Download Model 获取并重新打包固定模型,随后选择 Load Model、输入提示词并选择 Generate。

部署与要求

  • Apple Silicon Mac;已验证目标为 8 GB 内存的 M2 MacBook Air。macOS 26 与 Metal 4。Apple Command Line Tools 或 Xcode,需 Swift 6.2+ 和 macOS 26 SDK 或更新版本。需要足够可用存储空间来安装约 14.3 GB 的模型,首次安装模型需要互联网连接。软件包仅支持 arm64,不支持较旧的 macOS 和 Metal 版本。

采用前须知

  • 许可证:Apache-2.0。在使用、修改或分发项目前,请确认其具体条款。

评论

登录 后发表评论。

更多类似 TurboFieldfare 的项目

Favicon of agentes.chat

agentes.chat

Free 等级项目星标数: 1.4K

把 AI Agent 放进团队聊天

聊天界面

开源、可自托管的团队聊天工具,人和 AI Agent 在频道与私信中协作。Agent 可使用 Claude、ChatGPT/Codex、Gemini 或 Grok,借助 MCP 工具和例程工作,敏感操作前请求批准。

Favicon of Buzz

Buzz

Free 等级项目星标数: 37.2K

人类与 AI 代理可共同使用的自托管工作区

聊天界面

Buzz 是一个基于 Nostr 中继的自托管集体智能沟通与工作区平台,让人和 AI 代理共享频道、线程、工作流、Git 事件、搜索和审计日志。

Favicon of Ember

Ember

Free 等级项目星标数: 0.6K

开源团队聊天,部署在自己的 Cloudflare 账户

聊天界面

Ember 是受 Slack 和 Campfire 启发的开源团队聊天应用,提供房间、话题、私信、文件、搜索、机器人和推送通知,并可选 AI 助手;它可一键部署到你自己的 Cloudflare 账户。