DeepInfer
DeepInfer 是面向 DeepSeek 模型的高性能、大规模推理框架。本次开源版本提供离线推理，包含优化内核、并行、调度、确定性采样和结构化输出等大规模服务所需的核心能力。
访问 deepseek-ai/DeepInfer项目简介
DeepInfer 是支撑 DeepSeek 大规模生产服务的高性能推理框架。本次开源版本提供离线推理，支持 DeepSeek-V4.1-Flash，并包含大规模服务所需的核心功能。
核心功能
- 优化内核，以及模型和采样器运行时。
- 支持 Attention DP 或平衡 CP，以及 MoE EP 与 EPLB。
- DSpark 和置信度调度的验证。
- SWA 有界重放。
- 异步调度，将 CPU 批调度与设备执行重叠，默认启用。
- 批不变推理，在不同批次组成下保持模型结果一致。
适用场景
- 对 DeepSeek-V4.1-Flash 进行离线推理。
- 利用优化内核和并行能力为 DeepSeek 模型提供大规模推理服务。
- 生成受正则表达式、JSON Schema 或 EBNF 语法约束的结构化输出。
- 在 NVIDIA SM100 GPU 或华为 Ascend 950 NPU 上部署推理。
快速开始
- 构建 DeepInfer 前，创建并激活一个空的 Python 3.12 环境。
- 按平台导出 DEEPINFER_ACCELERATOR=nvidia 或 ascend，然后运行 ./build.sh。
- 运行 python examples/offline_inference.py。
- 默认 DeepSeek-V4.1-Flash 检查点会在首次运行时下载到 Hugging Face 缓存；如需使用本地副本，可设置 DEEPINFER_HF_MODEL_DIR。
部署与要求
- Linux、GCC >= 13.0 和 Python 3.12。
- NVIDIA SM100 GPU 需 CUDA 13；华为 Ascend 950 NPU 需 CANN 9.2。
- 完整的推理服务还需要 KV 缓存系统、VE/Prefill/Decode 分离，以及面向预填充和解码的数据并行副本负载均衡；这些组件未包含在本次发布中。
采用前须知
- 许可证：Apache-2.0。在使用、修改或分发项目前，请确认其具体条款。
