标记为“模型量化”的工具

用 C/C++ 实现 LLM 推理，以最简设置和一流性能在本地和云端的各种硬件上运行。

DeepSeek-V3 是一款混合专家（MoE）语言模型，总参数量 671B，每个 token 激活 37B 参数。它支持 128K 上下文，提供 Base 与 Chat 两个版本，开放权重可用于本地部署，也可通过 API 使用。

Unsloth是一个开源框架，用于运行和训练LLM。它提供本地UI来运行和训练LLM和扩散模型，支持GGUF、MLX、Qwen3.8、DeepSeek-V4、MiniMax-H3、Gemma 4、FLUX等。

Qdrant 是一个高性能、可大规模扩展的向量数据库和向量相似度搜索引擎，专为新一代 AI 应用设计。它支持存储、搜索和管理带 payload 的向量，并提供全托管的 Qdrant Cloud 服务。

Qwen3 是阿里云 Qwen 团队开发的大型语言模型系列，包含稠密与混合专家（MoE）模型，提供思考与非思考模式，支持多语言、长上下文、推理、编码与智能体能力，并推出 2507 更新版本。