触达更多潜在用户,助力产品增长与收益提升。
投放广告标记为“本地大模型”的工具
ollama
Free 等级项目星标数: 181.7K使用开放模型开始构建。
Ollama 让您能够快速上手运行 Kimi、GLM、MiniMax、DeepSeek、gpt-oss、Qwen、Gemma 等开放模型。它提供 CLI、REST API 以及 Python 和 JavaScript 库,用于在本地运行和管理模型。
DeepSeek-V3
Free 等级项目星标数: 104.5K671B 参数混合专家语言模型,每 token 激活 37B
DeepSeek-V3 是一款混合专家(MoE)语言模型,总参数量 671B,每个 token 激活 37B 参数。它支持 128K 上下文,提供 Base 与 Chat 两个版本,开放权重可用于本地部署,也可通过 API 使用。
Unsloth
Free 等级项目星标数: 76.8K开源框架,用于在本地运行和训练LLM
Unsloth是一个开源框架,用于运行和训练LLM。它提供本地UI来运行和训练LLM和扩散模型,支持GGUF、MLX、Qwen3.8、DeepSeek-V4、MiniMax-H3、Gemma 4、FLUX等。
Free Claude Code
Free 等级项目星标数: 63.6K聚合 61 家供应商与 12 个编程助手
Free Claude Code 是开源模型网关与编程助手启动器,聚合 61 家供应商、每月超过 13 亿免费 token 和 12 个编程助手,覆盖终端、IDE、桌面、浏览器与手机,并支持模型自动回退。
nanobot
Free 等级项目星标数: 49.6K你的开源智能体,伴你随处工作。
nanobot 是一个超轻量、开源、自托管的个人 AI 智能体框架,使用 Python 编写,提供 WebUI、终端和聊天应用入口,并集成工具、记忆、MCP、多智能体工作流与自动化。
Colibri
Free 等级项目星标数: 46.7K小巧引擎,驱动巨型模型
Colibri 是一个开源分层推理引擎,可让大语言模型适配本机硬件,协调 CPU、GPU、内存与存储,并按需从磁盘流式读取混合专家权重。
Codewhale
Free 等级项目星标数: 41.1K支持任意模型的开源编码智能体
Codewhale 是一个开源编码智能体与终端客户端,能够读取项目、编辑文件、运行命令并检查工作结果,并可连接托管或本地模型。
OpenHuman
Free 等级项目星标数: 40.1K运行在笔记本电脑上的开源个人 AI
OpenHuman 是一款面向 Mac、Windows 和 Linux 的免费开源个人 AI,数据保存在本地,并能编排多智能体。核心以 Rust 编写,定位为快速、高效的开源智能体运行框架,同时提供桌面端、浏览器界面和终端客户端。
llmfit
Free 等级项目星标数: 38.5K一条命令找出适合你硬件的模型。
llmfit 会检测 CPU、内存、GPU、显存和加速器配置,并按适配度、速度、质量和上下文对数百个开源大模型及不同量化版本进行排序,帮助你判断哪些模型能在本机良好运行。
Heretic
Free 等级项目星标数: 38.2K无需训练的语言模型修改工具
Heretic 是一款无需训练即可修改语言模型的工具。它基于对比示例提示与匹配评分器,用数学方法引导模型行为,可移除审查、抑制拒答,并减少废话或迎合倾向。
Vane
Free 等级项目星标数: 36.9K隐私优先的 AI 问答引擎
Vane 是一款隐私优先的 AI 问答引擎,完全运行在你自己的硬件上。它结合互联网知识与本地 LLM(Ollama)及云服务提供商(OpenAI、Claude、Groq),在提供带引用来源的准确答案的同时,确保搜索完全私密。
Strata
Free 等级项目星标数: 31.2K在自己的 PC 上运行 Qwen3.8-Flash-Next
Strata 让 125B 参数的 Qwen3.8-Flash-Next 在消费级 PC 上运行,提供 Windows/Linux 一键安装、本地推理引擎、localhost 上的 OpenAI/Anthropic 兼容 API,并可选图像输入。
Qwen3
Free 等级项目星标数: 27.7K阿里云 Qwen 团队开发的大型语言模型系列
Qwen3 是阿里云 Qwen 团队开发的大型语言模型系列,包含稠密与混合专家(MoE)模型,提供思考与非思考模式,支持多语言、长上下文、推理、编码与智能体能力,并推出 2507 更新版本。
DwarfStar
Free 等级项目星标数: 24K面向消费级硬件的精选大模型本地推理引擎
DwarfStar 是一个小型原生推理引擎,专注于在消费级硬件上运行 DeepSeek、GLM 和 Qwen 等精选大语言模型,支持 Metal、CUDA 和 ROCm。它要求使用项目自身产出的 GGUF 文件,并非通用 GGUF 运行器。
FreeToken
Free 等级项目星标数: 15.1K在桌面端提供数据中心级 MoE 模型服务
FreeToken 是边缘原生混合专家(MoE)服务引擎,可在个人与消费级硬件上本地运行前沿规模开放权重模型,将 GPU、CPU、主机内存与互连视为统一弹性推理平台,并提供带宽自适应 CPU–GPU 协同执行与 Anthropic/OpenAI 兼容 API。
Edge0
Free 等级项目星标数: 11K面向端侧 AI 的设备原生基础模型
Edge0 提供设备原生基础模型与开源流式 MoE 推理框架,可在笔记本上运行 145B、在手机上运行 35B 等大型稀疏模型,通过 SSD 流式加载权重,支持离线端侧处理与零令牌成本。
kimi-k3-in-c
Free 等级项目星标数: 10K用 C99 在单 CPU、8 GB 内存上运行 2.78 万亿参数 Kimi K3
通过从磁盘流式读取模型而非全部载入内存,kimi-k3-in-c 可在单 CPU、8.24 GB 峰值内存下运行 2.78 万亿参数的 Kimi K3。项目使用可移植 C99,不依赖 BLAS、框架或 GPU。
Kev
Free 等级项目星标数: 9.6K可自行训练和运行的小型 Jev 式决策模型。
Kev 是建立在 Qwen3.5 和 Qwen3.8 之上的小型决策模型家族,基于 Jev 架构。可使用预训练权重或自行训练,并在一次请求中处理是/否、多选和评分问题。
TurboFieldfare
Free 等级项目星标数: 7.4K在约 2 GB 内存中运行 Gemma 4 26B-A4B
TurboFieldfare 是面向 Gemma 4 26B-A4B 的 Swift 与 Metal 推理运行时,通过从 SSD 流式读取路由专家、将共享权重和 KV 缓存驻留内存,在 Apple Silicon Mac 上以约 2 GB 内存运行模型。
Ollama JavaScript Library
Free 等级项目星标数: 4.4KOllama 的官方 JavaScript 客户端
Ollama 的官方 JavaScript 客户端,围绕 Ollama REST API 封装聊天、生成、流式响应、嵌入、模型管理与云模型访问,适用于 Node 和浏览器应用。
ATLAS
Free 等级项目星标数: 2.1K面向紧凑开源模型的本地编码代理
ATLAS 是 Inferstep 的本地编码代理;Inferstep 是一家挑战行业规模假设的开放实验室。ATLAS 在紧凑开源模型周围加入规划、候选生成、质量评分、沙箱测试与修复,让真实软件工作可在本地硬件完成,无需托管 API 或按 token 付费。
Dossier
Free 等级项目星标数: 2K求职全程,运行在你自己的服务器上
Dossier 是一款自托管求职应用:用一个画像保存职业经历,按岗位匹配并仅依据画像事实生成定制简历和求职信,跟踪申请从草稿到录用。采用 AGPL-3.0 许可证。
TensorFold
Free 等级项目星标数: 1.5K面向 Metal 与 CUDA 的原生本地 LLM 推理
TensorFold 是开源的 LLM 推理引擎,面向 Metal、CUDA 和 Vulkan,可在 Apple Silicon 与 NVIDIA GPU 上以原生 Metal 或 CUDA 本地运行开放模型,并提供 OpenAI 兼容与 Anthropic API。
neuron-explorer
Free 等级项目星标数: 1.3K面向 Qwen3.5-4B 的 steering 优先神经元探索器
neuron-explorer 是面向 Qwen3.5-4B 的 steering 优先神经元探索器:对某一层的每个 MLP 神经元在少量提示上做正向与负向推动,保留每次 rollout,并把结果铺展到模型的 3D 视图中,便于浏览地图、列表、神经元、嵌入和 Claude 对话面板。
Survival LLM
Free 等级项目星标数: 1.2K离线可用的 AI 助手与应急资料库,答案注明来源
Survival LLM 是一款免费、开源的 AI 助手与应急资料库,完全在本地电脑运行,从可信的离线资料中作答,并为每个答案标明来源。
Yogurt
Free 等级项目星标数: 1.1K私有 AI 会议笔记,免费开源
Yogurt 是一款免费开源的 AI 会议笔记桌面应用,不添加机器人加入通话,而是录制麦克风与电脑音频,并在本地完成转写和总结,让录音、转写和笔记留在你的电脑上。
SoduWork
Free 等级项目星标数: 0.8K面向团队及其智能体的 AI 原生引擎,多执行框架、多智能体、可自托管
SoduWork 是开源的 AI 原生企业协作平台,将人员、AI 智能体、模型与业务系统围绕共享请求连接起来,提供验收标准、独立 AI 复核、人工签核和可复用插件,并支持多执行框架、云或本地模型及私有部署。

