Voicebox是一个非自回归的流匹配模型，训练用于在给定音频上下文和文本的情况下填充语音。我们在60K小时的数据上训练了一个仅英语的Voicebox，并在覆盖六种语言（英语、法语、德语、西班牙语、波兰语和葡萄牙语）的50K小时的数据上训练了一个多语言版本。
Voicebox可以通过上下文学习来执行没有明确训练的任务。它比自回归模型更灵活，因为它可以根据过去和未来的上下文进行条件化。我们展示了Voicebox可以用于单语和跨语言的零射击文本到语音合成、风格转换、瞬态噪声去除、内容编辑和多样性样本生成。
- 瞬态噪声去除：在录制语音时被门铃或狗叫声打断？现在不再需要重新录制语音了。Voicebox可以像魔术橡皮擦一样用于去除瞬态噪声，通过重新生成噪声污染的语音。
- 内容编辑：Voicebox也可以帮助纠正错误的单词，而无需让说话者重新录制音频。
- 零射击文本到语音合成：通过上下文学习，Voicebox可以通过将所需风格的参考音频和要合成的文本作为输入来合成语音。它产生的语音在各个方面都与参考音频保持一致，包括声音、背景噪声和说话风格。
- 跨语言风格转换：Voicebox不仅可以使用英语音频提示生成英语语音，还可以跨语言转换风格。
一种 AI 语音功能，可将文本转换为逼真的语音。