跳过主要内容
广告OpenFree logo推广你的产品触达更多潜在用户,助力产品增长与收益提升。投放广告

标记为“边缘运行”的工具

Favicon of llama.cpp

llama.cpp

Free 等级项目星标数: 129.5K

C/C++ 实现的 LLM 推理

语言模型

用 C/C++ 实现 LLM 推理,以最简设置和一流性能在本地和云端的各种硬件上运行。

Favicon of RuView

RuView

Free 等级项目星标数: 100.6K

用 WiFi 感知姿态、生命体征与在场状态

边缘与端侧推理

RuView 将普通 WiFi 信号转化为实时空间智能,可检测房间占用、17 点身体姿态、呼吸与心率,并进行多人跟踪,全程不使用摄像头、可穿戴设备,也不依赖云端调用。

Favicon of FreeToken

FreeToken

Free 等级项目星标数: 15.1K

在桌面端提供数据中心级 MoE 模型服务

边缘与端侧推理

FreeToken 是边缘原生混合专家(MoE)服务引擎,可在个人与消费级硬件上本地运行前沿规模开放权重模型,将 GPU、CPU、主机内存与互连视为统一弹性推理平台,并提供带宽自适应 CPU–GPU 协同执行与 Anthropic/OpenAI 兼容 API。

Favicon of Edge0

Edge0

Free 等级项目星标数: 11K

面向端侧 AI 的设备原生基础模型

语言模型

Edge0 提供设备原生基础模型与开源流式 MoE 推理框架,可在笔记本上运行 145B、在手机上运行 35B 等大型稀疏模型,通过 SSD 流式加载权重,支持离线端侧处理与零令牌成本。

Favicon of Rivet

Rivet

Free 等级项目星标数: 6.2K

面向智能体工作负载的编排器

智能体框架

Rivet 是一个快速、高密度且可扩展的编排器,适用于各种智能体工作负载。它可将智能体、工作流和沙箱作为持久化 Actor 运行,为 AI 智能体、协作应用和持久执行提供有状态原语。

广告
OpenFree logo推广你的产品

触达更多潜在用户,助力产品增长与收益提升。

投放广告