VoxCPM

项目简介

VoxCPM 是无分词器的文本转语音系统，通过扩散自回归架构直接生成连续语音表示。最新主要版本 VoxCPM2 是 20 亿参数模型，基于超过 200 万小时的多语言语音数据训练，支持 30 种语言、音色设计、可控声音克隆与 48kHz 录音室级音频输出，并构建于 MiniCPM-4 骨干之上。

核心功能

• 支持 30 种语言的多语言合成，输入文本即可直接合成，无需语言标签；音色设计可仅凭自然语言描述生成全新声音，覆盖性别、年龄、语气、情感与语速等维度，无需参考音频；可控声音克隆可从短参考片段克隆音色，并可用可选风格引导调节情感、语速与表达，同时保留原始音色；终极克隆同时使用参考音频及其转写文本，延续参考语音并保留音色、节奏、情感与风格等细节；48kHz 高质量音频通过 AudioVAE V2 的非对称编解码设计输出，内置超分辨率，无需外部升采样器；支持上下文感知合成与实时流式输出，在 NVIDIA RTX 4090 上 RTF 可低至约 0.3。

适用场景

• 富有表现力的有声书，具备自然节奏与语调；游戏 NPC 与角色语音，呈现丰富情感层次；多语言语音，保持稳定音色并支持无缝切换；基于文本描述定制声音风格、年龄、语气、情感与语速。

快速开始

• 使用 pip install voxcpm 安装。通过 Python API 以 VoxCPM.from_pretrained 加载 openbmb/VoxCPM2，并调用 model.generate 传入目标文本。运行 python app.py --port 8808 启动 Web 演示，可用 --device 选择 auto、cpu、mps 或 cuda 等运行设备。CLI 支持音色设计、声音克隆、终极克隆、批处理以及可选的时间戳生成。

部署与要求

• 需要 Python ≥ 3.10（<3.13）、PyTorch ≥ 2.5.0 与 CUDA ≥ 12.0。VoxCPM2 约需 8 GB 显存，在 NVIDIA RTX 4090 上 RTF 约为 0.30。高吞吐服务可使用 Nano-vLLM-VoxCPM，在 NVIDIA RTX 4090 上 RTF 可低至约 0.13。生产多租户服务可使用 vLLM-Omni，并提供 OpenAI 兼容的 /v1/audio/speech 端点。端侧或边缘推理可使用 llama.cpp-omni 与 GGUF 权重，在 CPU、Metal、CUDA 或

采用前须知

• 许可证：Apache-2.0。在使用、修改或分发项目前，请确认其具体条款。