VibeVoice

项目简介

VibeVoice 是一个用于从文本生成富有表现力的长篇多说话人对话音频（如播客）的文本转语音框架。它采用以 7.5 Hz 运行的连续声学和语义语音分词器、利用 LLM 理解文本上下文与对话流程的下一词元扩散框架，以及生成高保真声学细节的扩散头。项目称可合成最长 90 分钟、最多 4 位不同说话人的语音。

核心功能

• 连续声学和语义语音分词器以 7.5 Hz 超低帧率运行，在保留音频保真度的同时提升长序列处理的计算效率；下一词元扩散框架利用 LLM 理解文本上下文和对话流程，并由扩散头生成高保真声学细节；支持合成最长 90 分钟、最多 4 位不同说话人的语音；展示自发情感和自发歌唱等上下文感知表达；提供带背景音乐的播客、中英跨语言语音和长篇对话语音示例。

适用场景

• 从文本生成播客风格的多说话人对话；制作包含多位不同说话人的长篇对话音频；生成带情感或歌唱风格的表现力语音；探索中英跨语言语音生成。

采用前须知

• 许可证：MIT。在使用、修改或分发项目前，请确认其具体条款。