跳过主要内容
广告OpenFree logo推广你的产品触达更多潜在用户,助力产品增长与收益提升。投放广告

标记为“本地大模型”的工具

Favicon of ollama

ollama

Free 等级项目星标数: 181.7K

使用开放模型开始构建。

本地模型运行器

Ollama 让您能够快速上手运行 Kimi、GLM、MiniMax、DeepSeek、gpt-oss、Qwen、Gemma 等开放模型。它提供 CLI、REST API 以及 Python 和 JavaScript 库,用于在本地运行和管理模型。

Favicon of llama.cpp

llama.cpp

Free 等级项目星标数: 129.5K

C/C++ 实现的 LLM 推理

语言模型

用 C/C++ 实现 LLM 推理,以最简设置和一流性能在本地和云端的各种硬件上运行。

Favicon of DeepSeek-V3

DeepSeek-V3

Free 等级项目星标数: 104.5K

671B 参数混合专家语言模型,每 token 激活 37B

语言模型

DeepSeek-V3 是一款混合专家(MoE)语言模型,总参数量 671B,每个 token 激活 37B 参数。它支持 128K 上下文,提供 Base 与 Chat 两个版本,开放权重可用于本地部署,也可通过 API 使用。

Favicon of Unsloth

Unsloth

Free 等级项目星标数: 76.8K

开源框架,用于在本地运行和训练LLM

训练与微调

Unsloth是一个开源框架,用于运行和训练LLM。它提供本地UI来运行和训练LLM和扩散模型,支持GGUF、MLX、Qwen3.8、DeepSeek-V4、MiniMax-H3、Gemma 4、FLUX等。

Favicon of Free Claude Code

Free Claude Code

Free 等级项目星标数: 63.6K

聚合 61 家供应商与 12 个编程助手

模型网关与路由

Free Claude Code 是开源模型网关与编程助手启动器,聚合 61 家供应商、每月超过 13 亿免费 token 和 12 个编程助手,覆盖终端、IDE、桌面、浏览器与手机,并支持模型自动回退。

Favicon of nanobot

nanobot

Free 等级项目星标数: 49.6K

你的开源智能体,伴你随处工作。

智能体框架

nanobot 是一个超轻量、开源、自托管的个人 AI 智能体框架,使用 Python 编写,提供 WebUI、终端和聊天应用入口,并集成工具、记忆、MCP、多智能体工作流与自动化。

Favicon of Colibri

Colibri

Free 等级项目星标数: 46.7K

小巧引擎,驱动巨型模型

本地模型运行器

Colibri 是一个开源分层推理引擎,可让大语言模型适配本机硬件,协调 CPU、GPU、内存与存储,并按需从磁盘流式读取混合专家权重。

Favicon of Codewhale

Codewhale

Free 等级项目星标数: 41.1K

支持任意模型的开源编码智能体

编程智能体

Codewhale 是一个开源编码智能体与终端客户端,能够读取项目、编辑文件、运行命令并检查工作结果,并可连接托管或本地模型。

Favicon of OpenHuman

OpenHuman

Free 等级项目星标数: 40.1K

运行在笔记本电脑上的开源个人 AI

智能体框架

OpenHuman 是一款面向 Mac、Windows 和 Linux 的免费开源个人 AI,数据保存在本地,并能编排多智能体。核心以 Rust 编写,定位为快速、高效的开源智能体运行框架,同时提供桌面端、浏览器界面和终端客户端。

Favicon of llmfit

llmfit

Free 等级项目星标数: 38.5K

一条命令找出适合你硬件的模型。

评测与基准

llmfit 会检测 CPU、内存、GPU、显存和加速器配置,并按适配度、速度、质量和上下文对数百个开源大模型及不同量化版本进行排序,帮助你判断哪些模型能在本机良好运行。

Favicon of Heretic

Heretic

Free 等级项目星标数: 38.2K

无需训练的语言模型修改工具

语言模型

Heretic 是一款无需训练即可修改语言模型的工具。它基于对比示例提示与匹配评分器,用数学方法引导模型行为,可移除审查、抑制拒答,并减少废话或迎合倾向。

Favicon of Vane

Vane

Free 等级项目星标数: 36.9K

隐私优先的 AI 问答引擎

搜索与答案引擎

Vane 是一款隐私优先的 AI 问答引擎,完全运行在你自己的硬件上。它结合互联网知识与本地 LLM(Ollama)及云服务提供商(OpenAI、Claude、Groq),在提供带引用来源的准确答案的同时,确保搜索完全私密。

Favicon of Strata

Strata

Free 等级项目星标数: 31.2K

在自己的 PC 上运行 Qwen3.8-Flash-Next

聊天界面

Strata 让 125B 参数的 Qwen3.8-Flash-Next 在消费级 PC 上运行,提供 Windows/Linux 一键安装、本地推理引擎、localhost 上的 OpenAI/Anthropic 兼容 API,并可选图像输入。

Favicon of Qwen3

Qwen3

Free 等级项目星标数: 27.7K

阿里云 Qwen 团队开发的大型语言模型系列

语言模型

Qwen3 是阿里云 Qwen 团队开发的大型语言模型系列,包含稠密与混合专家(MoE)模型,提供思考与非思考模式,支持多语言、长上下文、推理、编码与智能体能力,并推出 2507 更新版本。

Favicon of DwarfStar

DwarfStar

Free 等级项目星标数: 24K

面向消费级硬件的精选大模型本地推理引擎

推理服务与 API

DwarfStar 是一个小型原生推理引擎,专注于在消费级硬件上运行 DeepSeek、GLM 和 Qwen 等精选大语言模型,支持 Metal、CUDA 和 ROCm。它要求使用项目自身产出的 GGUF 文件,并非通用 GGUF 运行器。

Favicon of FreeToken

FreeToken

Free 等级项目星标数: 15.1K

在桌面端提供数据中心级 MoE 模型服务

边缘与端侧推理

FreeToken 是边缘原生混合专家(MoE)服务引擎,可在个人与消费级硬件上本地运行前沿规模开放权重模型,将 GPU、CPU、主机内存与互连视为统一弹性推理平台,并提供带宽自适应 CPU–GPU 协同执行与 Anthropic/OpenAI 兼容 API。

Favicon of Edge0

Edge0

Free 等级项目星标数: 11K

面向端侧 AI 的设备原生基础模型

语言模型

Edge0 提供设备原生基础模型与开源流式 MoE 推理框架,可在笔记本上运行 145B、在手机上运行 35B 等大型稀疏模型,通过 SSD 流式加载权重,支持离线端侧处理与零令牌成本。

Favicon of kimi-k3-in-c

kimi-k3-in-c

Free 等级项目星标数: 10K

用 C99 在单 CPU、8 GB 内存上运行 2.78 万亿参数 Kimi K3

语言模型

通过从磁盘流式读取模型而非全部载入内存,kimi-k3-in-c 可在单 CPU、8.24 GB 峰值内存下运行 2.78 万亿参数的 Kimi K3。项目使用可移植 C99,不依赖 BLAS、框架或 GPU。

Favicon of Kev

Kev

Free 等级项目星标数: 9.6K

可自行训练和运行的小型 Jev 式决策模型。

语言模型

Kev 是建立在 Qwen3.5 和 Qwen3.8 之上的小型决策模型家族,基于 Jev 架构。可使用预训练权重或自行训练,并在一次请求中处理是/否、多选和评分问题。

Favicon of TurboFieldfare

TurboFieldfare

Free 等级项目星标数: 7.4K

在约 2 GB 内存中运行 Gemma 4 26B-A4B

聊天界面

TurboFieldfare 是面向 Gemma 4 26B-A4B 的 Swift 与 Metal 推理运行时,通过从 SSD 流式读取路由专家、将共享权重和 KV 缓存驻留内存,在 Apple Silicon Mac 上以约 2 GB 内存运行模型。

Favicon of Ollama JavaScript Library

Ollama JavaScript Library

Free 等级项目星标数: 4.4K

Ollama 的官方 JavaScript 客户端

应用界面与 SDK

Ollama 的官方 JavaScript 客户端,围绕 Ollama REST API 封装聊天、生成、流式响应、嵌入、模型管理与云模型访问,适用于 Node 和浏览器应用。

Favicon of ATLAS

ATLAS

Free 等级项目星标数: 2.1K

面向紧凑开源模型的本地编码代理

编程助手与编辑器

ATLAS 是 Inferstep 的本地编码代理;Inferstep 是一家挑战行业规模假设的开放实验室。ATLAS 在紧凑开源模型周围加入规划、候选生成、质量评分、沙箱测试与修复,让真实软件工作可在本地硬件完成,无需托管 API 或按 token 付费。

Favicon of Dossier

Dossier

Free 等级项目星标数: 2K

求职全程,运行在你自己的服务器上

写作与知识工作

Dossier 是一款自托管求职应用:用一个画像保存职业经历,按岗位匹配并仅依据画像事实生成定制简历和求职信,跟踪申请从草稿到录用。采用 AGPL-3.0 许可证。

Favicon of TensorFold

TensorFold

Free 等级项目星标数: 1.5K

面向 Metal 与 CUDA 的原生本地 LLM 推理

边缘与端侧推理

TensorFold 是开源的 LLM 推理引擎,面向 Metal、CUDA 和 Vulkan,可在 Apple Silicon 与 NVIDIA GPU 上以原生 Metal 或 CUDA 本地运行开放模型,并提供 OpenAI 兼容与 Anthropic API。

Favicon of neuron-explorer

neuron-explorer

Free 等级项目星标数: 1.3K

面向 Qwen3.5-4B 的 steering 优先神经元探索器

语言模型

neuron-explorer 是面向 Qwen3.5-4B 的 steering 优先神经元探索器:对某一层的每个 MLP 神经元在少量提示上做正向与负向推动,保留每次 rollout,并把结果铺展到模型的 3D 视图中,便于浏览地图、列表、神经元、嵌入和 Claude 对话面板。

Favicon of Survival LLM

Survival LLM

Free 等级项目星标数: 1.2K

离线可用的 AI 助手与应急资料库,答案注明来源

个人与桌面助手

Survival LLM 是一款免费、开源的 AI 助手与应急资料库,完全在本地电脑运行,从可信的离线资料中作答,并为每个答案标明来源。

Favicon of Yogurt

Yogurt

Free 等级项目星标数: 1.1K

私有 AI 会议笔记,免费开源

会议助手与纪要

Yogurt 是一款免费开源的 AI 会议笔记桌面应用,不添加机器人加入通话,而是录制麦克风与电脑音频,并在本地完成转写和总结,让录音、转写和笔记留在你的电脑上。

Favicon of SoduWork

SoduWork

Free 等级项目星标数: 0.8K

面向团队及其智能体的 AI 原生引擎,多执行框架、多智能体、可自托管

多智能体系统

SoduWork 是开源的 AI 原生企业协作平台,将人员、AI 智能体、模型与业务系统围绕共享请求连接起来,提供验收标准、独立 AI 复核、人工签核和可复用插件,并支持多执行框架、云或本地模型及私有部署。

广告
OpenFree logo推广你的产品

触达更多潜在用户,助力产品增长与收益提升。

投放广告