ZipVoice是什么
ZipVoice 是小米集团 AI 实验室发布的高效零样本语音合成（TTS）模型。模型基于 Flow Matching 架构，包含 ZipVoice（单说话人）和 ZipVoice-Dialog（对话语音）两个版本。模型通过技术创新，如基于 Zipformer 的高效建模、平均上采样策略和 Flow Distillation 方法，实现轻量化建模和快速推理，解决现有模型参数量大、速度慢的问题。ZipVoice-Dialog 通过说话人轮次嵌入向量、课程学习等技术，实现又快又稳又自然的对话语音合成。
ZipVoice的主要功能
- 零样本语音合成：根据输入文本和参考语音，合成出具有特定音色的语音，无需大量的目标说话人数据进行训练。
- 快速推理：通过技术创新，如Flow Distillation等方法，显著减少推理步数，提高语音合成的速度，在低计算资源设备上能高效运行。
- 高质量语音生成：在保持快速推理的同时，生成的语音自然度高，具有良好的语音质量和说话人相似度。
- 对话语音合成：ZipVoice-Dialog版本能合成双人对话语音，支持自然且准确的说话人切换，适用AI播客等对话语音应用场景。
- 开源与可扩展：模型文件、训练代码、推理代码及语音对话数据集OpenDialog已开源，方便开发者进行研究和应用拓展。
ZipVoice的技术原理
- 基于Zipformer的高效建模：首次将Zipformer架构引入TTS任务，用多尺度高效率结构、卷积与注意力机制的协同处理及注意力权重的多次复用，实现语音合成模型的高效建模，显著减少模型参数量。
- 平均上采样策略：提出平均上采样策略，假设每个文本token具有相同的时长，对文本token进行平均上采样后送入语音预测模型，为模型提供稳定的初始对齐线索，提升对齐稳定性和收敛速度。
- Flow Distillation加速：基于Flow Distillation方法，通过预训练模型结合Classifier-free guidance技术，使学生模型通过无CFG的一步推理逼近教师预测，减少推理步数避免CFG带来的额外推理开销，实现快速推理。
- 说话人轮次嵌入向量：在对话语音合成中，引入Speaker-Turn Embedding为模型提供细粒度的精准说话人身份提示，降低模型对说话人切换建模的难度，提高说话人切换的准确性。
- 课程学习策略：用单说话人语音数据预训练，夯实语音-文本对齐能力，在对话语音数据上微调，学习说话人角色切换和自然对话语音风格，解决对话语音中复杂的对齐问题。
- 立体声扩展：通过权重初始化、单声道语音正则化和说话人互斥损失等技术，将ZipVoice-Dialog扩展为双声道生成功能，提升双声道对话的沉浸感。
ZipVoice的项目地址
- GitHub仓库：https://github.com/k2-fsa/ZipVoice
- HuggingFace模型库：https://huggingface.co/k2-fsa/ZipVoice
- arXiv技术论文：https://arxiv.org/pdf/2506.13053
ZipVoice的应用场景
- 个人助理：如智能手机、智能音箱等设备上的语音助手，为用户提供更加自然和个性化的语音交互体验。
- 车载语音系统：在汽车中用在导航、语音控制等功能，提供更流畅的语音交互。
- 有声读物：将文字内容转换为语音，生成高质量的有声读物，适用小说、新闻、文章等。
- 视频配音：为视频内容自动生成配音，节省人工配音的时间和成本，提高内容创作效率。
- 语言学习：帮助学习者通过语音合成技术练习发音，提供标准的语音示范。