跳过主要内容
广告OpenFree logo推广你的产品触达更多潜在用户,助力产品增长与收益提升。投放广告
Favicon of Edge0

Edge0

Free 等级项目

Edge0 提供设备原生基础模型与开源流式 MoE 推理框架,可在笔记本上运行 145B、在手机上运行 35B 等大型稀疏模型,通过 SSD 流式加载权重,支持离线端侧处理与零令牌成本。

访问 Edge0-AI/Edge0

项目简介

Edge0 是面向消费级硬件的开源流式 MoE 推理框架,用于在本地运行大型稀疏模型。可通过命令行、本地 API 服务器或 Edge0 Chat 应用使用;当前 145B 与 120B Latent MoE 模型面向单张 NVIDIA GPU,上一代 35B 版本运行于原生引擎。

核心功能

  • 采用 Latent MoE 与 SSD 流式专家权重,在消费级硬件上运行大型稀疏 MoE 模型;提供基于 GGML 的统一推理引擎 edge0-infer,含共享 C++ API、CLI、兼容 OpenAI 的本地服务器以及桌面、Android 和 iOS 聊天应用示例;支持端侧推理,敏感数据保留在硬件上,不发送到云端模型处理;支持离线运行,并面向手机、笔记本、耳机、眼镜、玩具等低功耗、低内存设备;包含 Edge0-35B、Edge0-8B、Audio8-ASR-3B、Audio8-TTS-0.6B

适用场景

  • 智能耳机:在耳机中嵌入边云语音 SDK,实现自然命令与实时读数,无需改动硬件;机器人与具身智能:边缘云端 HRI SDK 与机器人芯片配合边缘语音模型,支持自然语言对话、命令执行,以及离线或弱网下的语音交互;智能眼镜:边云协同让高频命令在端侧处理、复杂任务放在云端,以降低时延与成本;智能座舱:完全端侧运行的座舱方案面向低功耗与高性能,语音交互准确率 93%,命令响应时延低于 200 毫秒,数据保留在车内。

快速开始

  • 克隆 Edge0 仓库,按照 edge0-strata 与 edge0-infer 的构建指南完成构建,并在 edge0-infer 目录运行 edge0-infer serve --model /path/to/Edge0-145B-q3k。serve 命令加载权重后会打印本地监听地址,并提供兼容 OpenAI 与 Anthropic 的端点。使用 edge0-infer chat --model /path/to/Edge0-145B-q3k 进入交互会话,或在 Windows 上打开 Edge0 Chat 并选择 Edge0-145B-q3k

部署与要求

  • 最新 145B 与 120B 模型运行于 Linux 或 Windows,需要 NVIDIA GPU 与 CUDA 13;构建说明面向 x64 或 ARM64。平台支持取决于模型与引擎:edge0-35b 原生引擎支持 Linux CPU、Windows CPU 或 Vulkan、macOS Apple Silicon 的 Metal 或 CPU、iOS Metal 以及 Android CPU。8B 检查点已提供,原生引擎支持仍在计划中。

采用前须知

  • 许可证:Apache-2.0。在使用、修改或分发项目前,请确认其具体条款。

评论

登录 后发表评论。

更多类似 Edge0 的项目

Favicon of kimi-k3-in-c

kimi-k3-in-c

Free 等级项目星标数: 10K

用 C99 在单 CPU、8 GB 内存上运行 2.78 万亿参数 Kimi K3

语言模型

通过从磁盘流式读取模型而非全部载入内存,kimi-k3-in-c 可在单 CPU、8.24 GB 峰值内存下运行 2.78 万亿参数的 Kimi K3。项目使用可移植 C99,不依赖 BLAS、框架或 GPU。

Favicon of nanochat

nanochat

Free 等级项目星标数: 60.1K

单张 GPU 节点上端到端训练 LLM 的极简实验框架

语言模型

nanochat 是一个极简、可修改的 LLM 训练实验框架,覆盖分词、预训练、微调、评估和推理,可在单张 GPU 节点上端到端运行,并被称为“100 美元能买到的最好的 ChatGPT”。

Favicon of Heretic

Heretic

Free 等级项目星标数: 38.2K

无需训练的语言模型修改工具

语言模型

Heretic 是一款无需训练即可修改语言模型的工具。它基于对比示例提示与匹配评分器,用数学方法引导模型行为,可移除审查、抑制拒答,并减少废话或迎合倾向。