跳过主要内容
广告OpenFree logo推广你的产品触达更多潜在用户,助力产品增长与收益提升。投放广告
Favicon of DeepSeek-V3

DeepSeek-V3

Free 等级项目

DeepSeek-V3 是一款混合专家(MoE)语言模型,总参数量 671B,每个 token 激活 37B 参数。它支持 128K 上下文,提供 Base 与 Chat 两个版本,开放权重可用于本地部署,也可通过 API 使用。

访问 deepseek-ai/DeepSeek-V3

项目简介

DeepSeek-V3 是一款混合专家(MoE)语言模型,总参数量 671B,每个 token 激活 37B 参数。它采用多头潜在注意力(MLA)与 DeepSeekMoE 架构,使用无辅助损失的负载均衡策略和多 token 预测目标。模型在 14.8 万亿 token 上预训练,随后经过监督微调与强化学习阶段;评估显示其在数学和代码任务上表现突出,并支持 128K 上下文窗口。

核心功能

  • 总参数量 671B,每个 token 激活 37B 参数。采用多头潜在注意力(MLA)和 DeepSeekMoE 架构。使用无辅助损失的负载均衡策略,以减少因鼓励负载均衡而带来的性能下降。采用多 token 预测(MTP)训练目标,该目标也可用于推测解码。设计 FP8 混合精度训练框架,并在超大规模模型上验证其可行性与有效性。在 14.8 万亿 token 上预训练,支持 128K 上下文长度,提供 Base 与 Chat 版本。

适用场景

  • 通过 DeepSeek 官网或 OpenAI 兼容 API 与 DeepSeek-V3 对话。使用 DeepSeek-Infer Demo、SGLang、LMDeploy、TensorRT-LLM、vLLM 或 LightLLM 进行本地推理和部署。处理模型在基准测试中表现较强的代码和数学任务。研究 MoE 架构、FP8 训练、多 token 预测以及从 DeepSeek-R1 进行推理蒸馏。

快速开始

  • 克隆 DeepSeek-V3 GitHub 仓库,并进入 inference 文件夹。在新建的 conda 或 uv 虚拟环境中,从 requirements.txt 安装依赖。从 Hugging Face 下载模型权重并放入本地文件夹。使用 convert.py 并按所需的专家数和模型并行设置转换 Hugging Face 模型权重。使用提供的配置,通过 torchrun 和 generate.py 运行交互式或批量推理。

部署与要求

  • DeepSeek-Infer Demo 仅支持 Linux 与 Python 3.10;不支持 Mac 和 Windows。DeepSeek-Infer Demo 依赖包括 torch 2.4.1、triton 3.0.0、transformers 4.46.3 和 safetensors 0.4.5。官方仅提供 FP8 权重;如需 BF16 权重,可使用提供的 fp8_cast_bf16.py 转换脚本生成。Hugging Face Transformers 尚未直接支持。SGLang 在 BF16 和 FP8 模式下支持 NVIDIA 与 AMD

采用前须知

  • 许可证:MIT。在使用、修改或分发项目前,请确认其具体条款。
  • GitHub 记录的最后推送日期为 2025-08-28,距采集时间已至少 12 个月;采用前建议进一步确认维护状态。

评论

登录 后发表评论。

更多类似 DeepSeek-V3 的项目

Favicon of Edge0

Edge0

Free 等级项目星标数: 11K

面向端侧 AI 的设备原生基础模型

语言模型

Edge0 提供设备原生基础模型与开源流式 MoE 推理框架,可在笔记本上运行 145B、在手机上运行 35B 等大型稀疏模型,通过 SSD 流式加载权重,支持离线端侧处理与零令牌成本。

Favicon of kimi-k3-in-c

kimi-k3-in-c

Free 等级项目星标数: 10K

用 C99 在单 CPU、8 GB 内存上运行 2.78 万亿参数 Kimi K3

语言模型

通过从磁盘流式读取模型而非全部载入内存,kimi-k3-in-c 可在单 CPU、8.24 GB 峰值内存下运行 2.78 万亿参数的 Kimi K3。项目使用可移植 C99,不依赖 BLAS、框架或 GPU。

Favicon of nanochat

nanochat

Free 等级项目星标数: 60.1K

单张 GPU 节点上端到端训练 LLM 的极简实验框架

语言模型

nanochat 是一个极简、可修改的 LLM 训练实验框架,覆盖分词、预训练、微调、评估和推理,可在单张 GPU 节点上端到端运行,并被称为“100 美元能买到的最好的 ChatGPT”。