DiffSynth-Studio
DiffSynth-Studio 是 ModelScope 社区团队开源的 Diffusion 模型引擎,聚合图像、视频、音频生成与图像质量指标模型,并通过显存管理和量化支持低显存推理与训练。
访问 modelscope/DiffSynth-Studio项目简介
DiffSynth-Studio 是由 ModelScope 社区团队开发和维护的开源 Diffusion 模型引擎。它聚合主流开源 Diffusion 模型,覆盖图像生成、视频生成、音频生成和图像质量指标模型。框架围绕模型聚合、显存管理、参数量化与训练支持构建,并包含拆分训练。
核心功能
- 集成覆盖图像生成、视频生成、音频生成和图像质量指标模型的主流开源 Diffusion 模型;显存管理在磁盘、内存和显存之间动态调度模型参数,使低显存消费级 GPU 也能运行大模型推理;参数量化将模型参数转换为 NF4、INT8 等精度,降低推理和 LoRA 训练的显存需求;几乎所有支持推理的模型也支持训练,包括基础模型、LoRA 和带额外输入的 Adapter 模型;拆分训练利用计算图推理引擎跟踪 Pipeline 中的每个变量,并将训练过程拆成两个阶段以提升训练效率;配套项目包括用于工作流推理的 DiffSynth-ComfyUI 和面向消费级
适用场景
- 在显存有限的消费级 GPU 上运行大型 Diffusion 图像、视频或音频模型进行推理;对支持的 Diffusion 模型微调基础模型、LoRA 或 Adapter 模型;使用 DiffSynth-ComfyUI 构建 ComfyUI 推理工作流;通过 DiffSynth-WebUI 或量化训练流程在消费级 GPU 上训练 LoRA。
快速开始
- 从 PyPI 安装:pip install DiffSynth;随后查阅开发者文档,并优先阅读显存管理、参数量化、模型训练和拆分训练指南。
采用前须知
- 许可证:Apache-2.0。在使用、修改或分发项目前,请确认其具体条款。