跳过主要内容
广告OpenFree logo推广你的产品触达更多潜在用户,助力产品增长与收益提升。投放广告

边缘与端侧推理

面向设备与嵌入式硬件的推理运行时与加速。

Favicon of RuView

RuView

Free 等级项目星标数: 100.6K

用 WiFi 感知姿态、生命体征与在场状态

边缘与端侧推理

RuView 将普通 WiFi 信号转化为实时空间智能,可检测房间占用、17 点身体姿态、呼吸与心率,并进行多人跟踪,全程不使用摄像头、可穿戴设备,也不依赖云端调用。

Favicon of WebLLM

WebLLM

Free 等级项目星标数: 19.3K

高性能浏览器内大语言模型推理引擎

边缘与端侧推理

WebLLM 是高性能浏览器内大语言模型推理引擎,借助 WebGPU 在浏览器中直接运行模型,无需服务器端处理。它兼容 OpenAI API,支持流式输出、JSON 模式、自定义模型和多种开源模型系列。

Favicon of FreeToken

FreeToken

Free 等级项目星标数: 15.1K

在桌面端提供数据中心级 MoE 模型服务

边缘与端侧推理

FreeToken 是边缘原生混合专家(MoE)服务引擎,可在个人与消费级硬件上本地运行前沿规模开放权重模型,将 GPU、CPU、主机内存与互连视为统一弹性推理平台,并提供带宽自适应 CPU–GPU 协同执行与 Anthropic/OpenAI 兼容 API。

Favicon of TensorFold

TensorFold

Free 等级项目星标数: 1.5K

面向 Metal 与 CUDA 的原生本地 LLM 推理

边缘与端侧推理

TensorFold 是开源的 LLM 推理引擎,面向 Metal、CUDA 和 Vulkan,可在 Apple Silicon 与 NVIDIA GPU 上以原生 Metal 或 CUDA 本地运行开放模型,并提供 OpenAI 兼容与 Anthropic API。

广告
OpenFree logo推广你的产品

触达更多潜在用户,助力产品增长与收益提升。

投放广告