跳过主要内容
广告OpenFree logo推广你的产品触达更多潜在用户,助力产品增长与收益提升。投放广告

标记为“端侧运行”的工具

Favicon of llama.cpp

llama.cpp

Free 等级项目星标数: 129.5K

C/C++ 实现的 LLM 推理

语言模型

用 C/C++ 实现 LLM 推理,以最简设置和一流性能在本地和云端的各种硬件上运行。

Favicon of Graphify

Graphify

Free 等级项目星标数: 129.5K

编码助手查询知识图谱,而非逐文件搜索;可托管或本地开源运行

MCP 服务与工具连接器

Graphify 将代码库及其文档、SQL 模式、配置和 PDF 转换为可查询的知识图谱,AI 编码助手可通过 MCP 查询,而不是逐个文件搜索。代码解析在本地以确定性的 AST 方式完成,不使用向量存储。

Favicon of RuView

RuView

Free 等级项目星标数: 100.6K

用 WiFi 感知姿态、生命体征与在场状态

边缘与端侧推理

RuView 将普通 WiFi 信号转化为实时空间智能,可检测房间占用、17 点身体姿态、呼吸与心率,并进行多人跟踪,全程不使用摄像头、可穿戴设备,也不依赖云端调用。

Favicon of whisper.cpp

whisper.cpp

Free 等级项目星标数: 53.9K

OpenAI Whisper 模型的高性能 C/C++ 推理实现

转录与听写

whisper.cpp 是 OpenAI Whisper 自动语音识别模型的 C/C++ 移植版,以无依赖、高性能推理为目标,支持 CPU 以及 Apple Silicon、NVIDIA、AMD、Vulkan、OpenVINO、Ascend NPU、Moore Threads 等多种硬件加速后端。

Favicon of VoxCPM

VoxCPM

Free 等级项目星标数: 39.9K

富有表现力的多语言文本转语音

语音与声音生成

VoxCPM 是一款无需分词器的文本转语音系统,面向多语言语音生成、创意音色设计、可控声音克隆与 48kHz 高保真音频输出,基于扩散自回归架构。

Favicon of Handy

Handy

Free 等级项目星标数: 34.7K

免费开源的离线桌面语音转文字工具

转录与听写

Handy 是一款免费、开源、可扩展的跨平台桌面语音转文字应用,完全离线运行,可将语音转写后直接粘贴到任意文本输入框,无需把音频发送到云端。

Favicon of QMD

QMD

Free 等级项目星标数: 30.1K

面向文档、笔记与知识库的设备端混合搜索

MCP 服务与工具连接器

QMD 是一个本地优先的迷你 CLI 搜索工具,用于检索文档、知识库、会议记录等文本。它结合 BM25 全文搜索、向量语义搜索和 LLM 重排序,并通过 node-llama-cpp 与 GGUF 模型全程在设备端运行。

Favicon of elizaOS

elizaOS

Free 等级项目星标数: 19.8K

开源智能体操作系统与 TypeScript 框架

智能体框架

elizaOS 是用于自主 AI 智能体的开源 TypeScript 框架与产品栈。其单一仓库包含核心运行时、面向 Web、桌面和移动端的 Eliza 应用、CLI、云服务、原生桥接、第一方插件,以及 Linux 和 Android 发行工具。

Favicon of WebLLM

WebLLM

Free 等级项目星标数: 19.3K

高性能浏览器内大语言模型推理引擎

边缘与端侧推理

WebLLM 是高性能浏览器内大语言模型推理引擎,借助 WebGPU 在浏览器中直接运行模型,无需服务器端处理。它兼容 OpenAI API,支持流式输出、JSON 模式、自定义模型和多种开源模型系列。

Favicon of FreeToken

FreeToken

Free 等级项目星标数: 15.1K

在桌面端提供数据中心级 MoE 模型服务

边缘与端侧推理

FreeToken 是边缘原生混合专家(MoE)服务引擎,可在个人与消费级硬件上本地运行前沿规模开放权重模型,将 GPU、CPU、主机内存与互连视为统一弹性推理平台,并提供带宽自适应 CPU–GPU 协同执行与 Anthropic/OpenAI 兼容 API。

Favicon of Edge0

Edge0

Free 等级项目星标数: 11K

面向端侧 AI 的设备原生基础模型

语言模型

Edge0 提供设备原生基础模型与开源流式 MoE 推理框架,可在笔记本上运行 145B、在手机上运行 35B 等大型稀疏模型,通过 SSD 流式加载权重,支持离线端侧处理与零令牌成本。

Favicon of VidBee

VidBee

Free 等级项目星标数: 10.8K

下载视频并在本机生成可搜索的转录文本。

助手与生产力转录与听写

VidBee 可从 YouTube、TikTok、Instagram、X 等 1000+ 网站下载视频,也可导入本地文件。它会在你的电脑上创建可搜索、带时间戳的转录文本,方便定位具体片段、导出文本,或用你选择的 AI 提供商进行摘要和翻译。

Favicon of kimi-k3-in-c

kimi-k3-in-c

Free 等级项目星标数: 10K

用 C99 在单 CPU、8 GB 内存上运行 2.78 万亿参数 Kimi K3

语言模型

通过从磁盘流式读取模型而非全部载入内存,kimi-k3-in-c 可在单 CPU、8.24 GB 峰值内存下运行 2.78 万亿参数的 Kimi K3。项目使用可移植 C99,不依赖 BLAS、框架或 GPU。

Favicon of OpenWhispr

OpenWhispr

Free 等级项目星标数: 9.6K

隐私优先的语音转文字与会议笔记

个人与桌面助手

OpenWhispr 是开源、隐私优先的语音转文字听写应用,支持本地 Whisper/NVIDIA Parakeet 模型或通过自带 API 密钥使用云模型,并可跨平台使用。

Favicon of Mochi Diffusion

Mochi Diffusion

Free 等级项目星标数: 8K

在 Mac 上原生运行 Stable Diffusion 与 FLUX.2 Klein

图像生成与工作流

Mochi Diffusion 是一款原生 macOS 应用,可本地离线生成图像。它借助 Apple 的 Core ML Stable Diffusion 实现提升性能并降低内存占用,并通过 Iris 管线在原生 Metal GPU 加速下运行 FLUX.2 Klein 模型。

Favicon of GenOffice

GenOffice

Free 等级项目星标数: 7.9K

免费开源的桌面 AI 办公套件

MCP 服务与工具连接器

GenOffice 是一款面向 macOS、Windows 和 Linux 的免费开源 AI 办公套件。可打开并保存 .docx、.xlsx 和 .pptx 文件,编辑 PDF、Markdown 和 HTML,内置 AI 智能体,可使用 Genspark 积分或自备 API 密钥。

Favicon of TurboFieldfare

TurboFieldfare

Free 等级项目星标数: 7.4K

在约 2 GB 内存中运行 Gemma 4 26B-A4B

聊天界面

TurboFieldfare 是面向 Gemma 4 26B-A4B 的 Swift 与 Metal 推理运行时,通过从 SSD 流式读取路由专家、将共享权重和 KV 缓存驻留内存,在 Apple Silicon Mac 上以约 2 GB 内存运行模型。

Favicon of Hex

Hex

Free 等级项目星标数: 2.7K

说话,它便出现。

转录与听写

Hex 是一款本地优先的语音听写工具:按住快捷键说话,语音在设备上转写并粘贴到当前应用。macOS 版已可用,Windows 与 Linux 提供测试版;可选 Modes、命令行工具与屏幕标注功能。

Favicon of 知了 Cicada

知了 Cicada

Free 等级项目星标数: 1.6K

任何会议和直播的实时字幕、同声传译与 AI 会议纪要

会议助手与纪要

知了 Cicada 是免费开源的会议与直播助手,在 Mac、Windows、Linux 和 Android 上提供实时字幕、同声传译和 AI 会议纪要,帮助听懂电脑声音并跨语言开口。

Favicon of Mika

Mika

Free 等级项目星标数: 1.3K

你手机上的私人 AI 助理

个人与桌面助手

Mika 是安卓端设备上的 AI 助理,可用一句话操作应用、上网和运行本地脚本,在后台屏完成任务,不占用手机屏幕。

Favicon of Survival LLM

Survival LLM

Free 等级项目星标数: 1.2K

离线可用的 AI 助手与应急资料库,答案注明来源

个人与桌面助手

Survival LLM 是一款免费、开源的 AI 助手与应急资料库,完全在本地电脑运行,从可信的离线资料中作答,并为每个答案标明来源。

Favicon of Yogurt

Yogurt

Free 等级项目星标数: 1.1K

私有 AI 会议笔记,免费开源

会议助手与纪要

Yogurt 是一款免费开源的 AI 会议笔记桌面应用,不添加机器人加入通话,而是录制麦克风与电脑音频,并在本地完成转写和总结,让录音、转写和笔记留在你的电脑上。

Favicon of PaperPilot

PaperPilot

Free 等级项目星标数: 0.7K

面向 AI 代理与用户的本地 Rust PDF 工具箱

MCP 服务与工具连接器

PaperPilot 是本地 AI 文档助手,也是纯 Rust PDF 与文档工具箱,提供 MCP、CLI、浏览器、桌面和本地 REST 接口,文件在用户机器或浏览器内处理。

广告
OpenFree logo推广你的产品

触达更多潜在用户,助力产品增长与收益提升。

投放广告