触达更多潜在用户,助力产品增长与收益提升。
投放广告标记为“模型量化”的工具
ComfyUI
Free 等级项目星标数: 138.2K模块化节点图 AI 创作引擎
ComfyUI 是面向视觉专业人员的模块化节点图 AI 创作引擎,可生成图像、视频、3D、音频和文本,并提供本地与云端使用方式、API、App Mode,以及能根据自然语言描述规划、构建并运行工作流的 Comfy Agent。
DeepSeek-V3
Free 等级项目星标数: 104.5K671B 参数混合专家语言模型,每 token 激活 37B
DeepSeek-V3 是一款混合专家(MoE)语言模型,总参数量 671B,每个 token 激活 37B 参数。它支持 128K 上下文,提供 Base 与 Chat 两个版本,开放权重可用于本地部署,也可通过 API 使用。
vLLM
Free 等级项目星标数: 94.2K面向所有人,简单、快速且经济高效的 LLM 服务。
vLLM 是面向大语言模型的高吞吐、内存高效推理与服务引擎,旨在让人人都能简单、快速且经济高效地部署 LLM 服务。
Unsloth
Free 等级项目星标数: 76.8K开源框架,用于在本地运行和训练LLM
Unsloth是一个开源框架,用于运行和训练LLM。它提供本地UI来运行和训练LLM和扩散模型,支持GGUF、MLX、Qwen3.8、DeepSeek-V4、MiniMax-H3、Gemma 4、FLUX等。
whisper.cpp
Free 等级项目星标数: 53.9KOpenAI Whisper 模型的高性能 C/C++ 推理实现
whisper.cpp 是 OpenAI Whisper 自动语音识别模型的 C/C++ 移植版,以无依赖、高性能推理为目标,支持 CPU 以及 Apple Silicon、NVIDIA、AMD、Vulkan、OpenVINO、Ascend NPU、Moore Threads 等多种硬件加速后端。
llmfit
Free 等级项目星标数: 38.5K一条命令找出适合你硬件的模型。
llmfit 会检测 CPU、内存、GPU、显存和加速器配置,并按适配度、速度、质量和上下文对数百个开源大模型及不同量化版本进行排序,帮助你判断哪些模型能在本机良好运行。
Heretic
Free 等级项目星标数: 38.2K无需训练的语言模型修改工具
Heretic 是一款无需训练即可修改语言模型的工具。它基于对比示例提示与匹配评分器,用数学方法引导模型行为,可移除审查、抑制拒答,并减少废话或迎合倾向。
Qdrant
Free 等级项目星标数: 34.8K高性能向量数据库与向量搜索引擎
Qdrant 是一个高性能、可大规模扩展的向量数据库和向量相似度搜索引擎,专为新一代 AI 应用设计。它支持存储、搜索和管理带 payload 的向量,并提供全托管的 Qdrant Cloud 服务。
Strata
Free 等级项目星标数: 31.2K在自己的 PC 上运行 Qwen3.8-Flash-Next
Strata 让 125B 参数的 Qwen3.8-Flash-Next 在消费级 PC 上运行,提供 Windows/Linux 一键安装、本地推理引擎、localhost 上的 OpenAI/Anthropic 兼容 API,并可选图像输入。
Qwen3
Free 等级项目星标数: 27.7K阿里云 Qwen 团队开发的大型语言模型系列
Qwen3 是阿里云 Qwen 团队开发的大型语言模型系列,包含稠密与混合专家(MoE)模型,提供思考与非思考模式,支持多语言、长上下文、推理、编码与智能体能力,并推出 2507 更新版本。
FreeToken
Free 等级项目星标数: 15.1K在桌面端提供数据中心级 MoE 模型服务
FreeToken 是边缘原生混合专家(MoE)服务引擎,可在个人与消费级硬件上本地运行前沿规模开放权重模型,将 GPU、CPU、主机内存与互连视为统一弹性推理平台,并提供带宽自适应 CPU–GPU 协同执行与 Anthropic/OpenAI 兼容 API。
FlashMLA
Free 等级项目星标数: 13.1K面向 DeepSeek 推理的优化注意力算子
FlashMLA 是 DeepSeek 的高性能注意力算子库,支撑 DeepSeek-V4.1 在 NVIDIA GPU 与华为昇腾 NPU 上的推理。它提供面向 prefill 与 decoding 的 token 级稀疏注意力算子(支持 FP8 或 FP4 KV 缓存)、融合 Q-norm、Q-RoPE、注意力、O-RoPE 与 FP8 转换的融合算子,以及用于 prefill 和反向传播的稠密注意力算子。
Edge0
Free 等级项目星标数: 11K面向端侧 AI 的设备原生基础模型
Edge0 提供设备原生基础模型与开源流式 MoE 推理框架,可在笔记本上运行 145B、在手机上运行 35B 等大型稀疏模型,通过 SSD 流式加载权重,支持离线端侧处理与零令牌成本。
kimi-k3-in-c
Free 等级项目星标数: 10K用 C99 在单 CPU、8 GB 内存上运行 2.78 万亿参数 Kimi K3
通过从磁盘流式读取模型而非全部载入内存,kimi-k3-in-c 可在单 CPU、8.24 GB 峰值内存下运行 2.78 万亿参数的 Kimi K3。项目使用可移植 C99,不依赖 BLAS、框架或 GPU。
TurboFieldfare
Free 等级项目星标数: 7.4K在约 2 GB 内存中运行 Gemma 4 26B-A4B
TurboFieldfare 是面向 Gemma 4 26B-A4B 的 Swift 与 Metal 推理运行时,通过从 SSD 流式读取路由专家、将共享权重和 KV 缓存驻留内存,在 Apple Silicon Mac 上以约 2 GB 内存运行模型。
TensorFold
Free 等级项目星标数: 1.5K面向 Metal 与 CUDA 的原生本地 LLM 推理
TensorFold 是开源的 LLM 推理引擎,面向 Metal、CUDA 和 Vulkan,可在 Apple Silicon 与 NVIDIA GPU 上以原生 Metal 或 CUDA 本地运行开放模型,并提供 OpenAI 兼容与 Anthropic API。
openTPU
Free 等级项目星标数: 0.9K开源 AI 加速器:RTL、ISA、模拟器与编译器一体
openTPU 是由 AI 开发的开源 AI 加速器,将 RTL、ISA、模拟器、编译器和分析器整合在一个代码库中;可在 Kintex-7 PCIe 卡上运行 Qwen3、LFM2.5 和 Qwen3.5。

