Edge0
Edge0 提供设备原生基础模型与开源流式 MoE 推理框架,可在笔记本上运行 145B、在手机上运行 35B 等大型稀疏模型,通过 SSD 流式加载权重,支持离线端侧处理与零令牌成本。
访问 Edge0-AI/Edge0项目简介
Edge0 是面向消费级硬件的开源流式 MoE 推理框架,用于在本地运行大型稀疏模型。可通过命令行、本地 API 服务器或 Edge0 Chat 应用使用;当前 145B 与 120B Latent MoE 模型面向单张 NVIDIA GPU,上一代 35B 版本运行于原生引擎。
核心功能
- 采用 Latent MoE 与 SSD 流式专家权重,在消费级硬件上运行大型稀疏 MoE 模型;提供基于 GGML 的统一推理引擎 edge0-infer,含共享 C++ API、CLI、兼容 OpenAI 的本地服务器以及桌面、Android 和 iOS 聊天应用示例;支持端侧推理,敏感数据保留在硬件上,不发送到云端模型处理;支持离线运行,并面向手机、笔记本、耳机、眼镜、玩具等低功耗、低内存设备;包含 Edge0-35B、Edge0-8B、Audio8-ASR-3B、Audio8-TTS-0.6B
适用场景
- 智能耳机:在耳机中嵌入边云语音 SDK,实现自然命令与实时读数,无需改动硬件;机器人与具身智能:边缘云端 HRI SDK 与机器人芯片配合边缘语音模型,支持自然语言对话、命令执行,以及离线或弱网下的语音交互;智能眼镜:边云协同让高频命令在端侧处理、复杂任务放在云端,以降低时延与成本;智能座舱:完全端侧运行的座舱方案面向低功耗与高性能,语音交互准确率 93%,命令响应时延低于 200 毫秒,数据保留在车内。
快速开始
- 克隆 Edge0 仓库,按照 edge0-strata 与 edge0-infer 的构建指南完成构建,并在 edge0-infer 目录运行 edge0-infer serve --model /path/to/Edge0-145B-q3k。serve 命令加载权重后会打印本地监听地址,并提供兼容 OpenAI 与 Anthropic 的端点。使用 edge0-infer chat --model /path/to/Edge0-145B-q3k 进入交互会话,或在 Windows 上打开 Edge0 Chat 并选择 Edge0-145B-q3k
部署与要求
- 最新 145B 与 120B 模型运行于 Linux 或 Windows,需要 NVIDIA GPU 与 CUDA 13;构建说明面向 x64 或 ARM64。平台支持取决于模型与引擎:edge0-35b 原生引擎支持 Linux CPU、Windows CPU 或 Vulkan、macOS Apple Silicon 的 Metal 或 CPU、iOS Metal 以及 Android CPU。8B 检查点已提供,原生引擎支持仍在计划中。
采用前须知
- 许可证:Apache-2.0。在使用、修改或分发项目前,请确认其具体条款。