跳过主要内容
广告OpenFree logo推广你的产品触达更多潜在用户,助力产品增长与收益提升。投放广告

标记为“模型量化”的工具

Favicon of ComfyUI

ComfyUI

Free 等级项目星标数: 138.2K

模块化节点图 AI 创作引擎

图像生成与工作流

ComfyUI 是面向视觉专业人员的模块化节点图 AI 创作引擎,可生成图像、视频、3D、音频和文本,并提供本地与云端使用方式、API、App Mode,以及能根据自然语言描述规划、构建并运行工作流的 Comfy Agent。

Favicon of llama.cpp

llama.cpp

Free 等级项目星标数: 129.5K

C/C++ 实现的 LLM 推理

语言模型

用 C/C++ 实现 LLM 推理,以最简设置和一流性能在本地和云端的各种硬件上运行。

Favicon of DeepSeek-V3

DeepSeek-V3

Free 等级项目星标数: 104.5K

671B 参数混合专家语言模型,每 token 激活 37B

语言模型

DeepSeek-V3 是一款混合专家(MoE)语言模型,总参数量 671B,每个 token 激活 37B 参数。它支持 128K 上下文,提供 Base 与 Chat 两个版本,开放权重可用于本地部署,也可通过 API 使用。

Favicon of vLLM

vLLM

Free 等级项目星标数: 94.2K

面向所有人,简单、快速且经济高效的 LLM 服务。

推理服务与 API

vLLM 是面向大语言模型的高吞吐、内存高效推理与服务引擎,旨在让人人都能简单、快速且经济高效地部署 LLM 服务。

Favicon of Unsloth

Unsloth

Free 等级项目星标数: 76.8K

开源框架,用于在本地运行和训练LLM

训练与微调

Unsloth是一个开源框架,用于运行和训练LLM。它提供本地UI来运行和训练LLM和扩散模型,支持GGUF、MLX、Qwen3.8、DeepSeek-V4、MiniMax-H3、Gemma 4、FLUX等。

Favicon of whisper.cpp

whisper.cpp

Free 等级项目星标数: 53.9K

OpenAI Whisper 模型的高性能 C/C++ 推理实现

转录与听写

whisper.cpp 是 OpenAI Whisper 自动语音识别模型的 C/C++ 移植版,以无依赖、高性能推理为目标,支持 CPU 以及 Apple Silicon、NVIDIA、AMD、Vulkan、OpenVINO、Ascend NPU、Moore Threads 等多种硬件加速后端。

Favicon of llmfit

llmfit

Free 等级项目星标数: 38.5K

一条命令找出适合你硬件的模型。

评测与基准

llmfit 会检测 CPU、内存、GPU、显存和加速器配置,并按适配度、速度、质量和上下文对数百个开源大模型及不同量化版本进行排序,帮助你判断哪些模型能在本机良好运行。

Favicon of Heretic

Heretic

Free 等级项目星标数: 38.2K

无需训练的语言模型修改工具

语言模型

Heretic 是一款无需训练即可修改语言模型的工具。它基于对比示例提示与匹配评分器,用数学方法引导模型行为,可移除审查、抑制拒答,并减少废话或迎合倾向。

Favicon of SGLang

SGLang

Free 等级项目星标数: 37.2K

高性能大语言与多模态模型服务

多模态模型

SGLang 是面向大语言模型与多模态模型的高性能服务框架,旨在为多种模型和硬件平台提供快速、可扩展的推理。

Favicon of Qdrant

Qdrant

Free 等级项目星标数: 34.8K

高性能向量数据库与向量搜索引擎

向量数据库

Qdrant 是一个高性能、可大规模扩展的向量数据库和向量相似度搜索引擎,专为新一代 AI 应用设计。它支持存储、搜索和管理带 payload 的向量,并提供全托管的 Qdrant Cloud 服务。

Favicon of Strata

Strata

Free 等级项目星标数: 31.2K

在自己的 PC 上运行 Qwen3.8-Flash-Next

聊天界面

Strata 让 125B 参数的 Qwen3.8-Flash-Next 在消费级 PC 上运行,提供 Windows/Linux 一键安装、本地推理引擎、localhost 上的 OpenAI/Anthropic 兼容 API,并可选图像输入。

Favicon of Qwen3

Qwen3

Free 等级项目星标数: 27.7K

阿里云 Qwen 团队开发的大型语言模型系列

语言模型

Qwen3 是阿里云 Qwen 团队开发的大型语言模型系列,包含稠密与混合专家(MoE)模型,提供思考与非思考模式,支持多语言、长上下文、推理、编码与智能体能力,并推出 2507 更新版本。

Favicon of FreeToken

FreeToken

Free 等级项目星标数: 15.1K

在桌面端提供数据中心级 MoE 模型服务

边缘与端侧推理

FreeToken 是边缘原生混合专家(MoE)服务引擎,可在个人与消费级硬件上本地运行前沿规模开放权重模型,将 GPU、CPU、主机内存与互连视为统一弹性推理平台,并提供带宽自适应 CPU–GPU 协同执行与 Anthropic/OpenAI 兼容 API。

Favicon of FlashMLA

FlashMLA

Free 等级项目星标数: 13.1K

面向 DeepSeek 推理的优化注意力算子

流水线、部署与计算

FlashMLA 是 DeepSeek 的高性能注意力算子库,支撑 DeepSeek-V4.1 在 NVIDIA GPU 与华为昇腾 NPU 上的推理。它提供面向 prefill 与 decoding 的 token 级稀疏注意力算子(支持 FP8 或 FP4 KV 缓存)、融合 Q-norm、Q-RoPE、注意力、O-RoPE 与 FP8 转换的融合算子,以及用于 prefill 和反向传播的稠密注意力算子。

Favicon of Edge0

Edge0

Free 等级项目星标数: 11K

面向端侧 AI 的设备原生基础模型

语言模型

Edge0 提供设备原生基础模型与开源流式 MoE 推理框架,可在笔记本上运行 145B、在手机上运行 35B 等大型稀疏模型,通过 SSD 流式加载权重,支持离线端侧处理与零令牌成本。

Favicon of kimi-k3-in-c

kimi-k3-in-c

Free 等级项目星标数: 10K

用 C99 在单 CPU、8 GB 内存上运行 2.78 万亿参数 Kimi K3

语言模型

通过从磁盘流式读取模型而非全部载入内存,kimi-k3-in-c 可在单 CPU、8.24 GB 峰值内存下运行 2.78 万亿参数的 Kimi K3。项目使用可移植 C99,不依赖 BLAS、框架或 GPU。

Favicon of TurboFieldfare

TurboFieldfare

Free 等级项目星标数: 7.4K

在约 2 GB 内存中运行 Gemma 4 26B-A4B

聊天界面

TurboFieldfare 是面向 Gemma 4 26B-A4B 的 Swift 与 Metal 推理运行时,通过从 SSD 流式读取路由专家、将共享权重和 KV 缓存驻留内存,在 Apple Silicon Mac 上以约 2 GB 内存运行模型。

Favicon of TensorFold

TensorFold

Free 等级项目星标数: 1.5K

面向 Metal 与 CUDA 的原生本地 LLM 推理

边缘与端侧推理

TensorFold 是开源的 LLM 推理引擎,面向 Metal、CUDA 和 Vulkan,可在 Apple Silicon 与 NVIDIA GPU 上以原生 Metal 或 CUDA 本地运行开放模型,并提供 OpenAI 兼容与 Anthropic API。

Favicon of openTPU

openTPU

Free 等级项目星标数: 0.9K

开源 AI 加速器:RTL、ISA、模拟器与编译器一体

量化与加速

openTPU 是由 AI 开发的开源 AI 加速器,将 RTL、ISA、模拟器、编译器和分析器整合在一个代码库中;可在 Kintex-7 PCIe 卡上运行 Qwen3、LFM2.5 和 Qwen3.5。

广告
OpenFree logo推广你的产品

触达更多潜在用户,助力产品增长与收益提升。

投放广告