Higgs Audio V2是什么
Higgs Audio V2 是李沐及其团队 Boson AI 开发的开源语音大模型。基于超过1000万小时的音频数据训练而成，具备多语言对话生成、自动韵律调整、语音克隆和歌声合成等功能。模型能模拟自然流畅的多人对话，自动匹配说话者的情绪和语调，支持低延迟的实时语音交互。支持零样本语音克隆，用户只需提供简短语音样本，即可复制特定人物的声音特征，可以合成歌声。Higgs Audio V2 能同时生成语音和背景音乐，为音频内容创作提供强大支持。
Higgs Audio V2的主要功能
- 多语言对话生成：支持多语言对话生成，能模拟多人互动场景，自动匹配说话者的情绪和能量水平，使对话自然流畅。
- 自动韵律调整：在长文本朗读中，能根据内容自动调整语速、停顿和语调，无需人工干预，生成自然流畅的语音。
- 语音克隆与歌声合成：用户只需提供简短的语音样本，模型即可实现零样本语音克隆，复制特定人物的声音特征，能让克隆的声音哼唱旋律。
- 实时语音交互：支持低延迟响应，能理解用户情绪并做出情感化表达，提供接近人类的交互体验。
- 语音与背景音乐同步生成：能同时生成语音和背景音乐，实现“写一首歌并唱出来”的创作流程。
Higgs Audio V2的技术原理
- AudioVerse 数据集：开发了一套自动化标注流程，结合多个语音识别模型、声音事件分类模型以及自研的音频理解模型，清洗并标注了 1000 万小时的音频数据。
- 统一音频分词器：从零开始训练了一个统一的音频分词器，能同时捕捉语义和声学特征。
- DualFFN 架构：在几乎不增加计算开销的前提下，显著增强了大语言模型对声学 token 的建模能力。
- 零样本语音克隆：模型融入了上下文学习，能通过简单的提示（如简短的参考音频样本）进行零样本语音克隆，匹配说话风格。
Higgs Audio V2的项目地址
- Github仓库：https://github.com/boson-ai/higgs-audio
- 在线体验Demo：https://huggingface.co/spaces/smola/higgs_audio_v2
Higgs Audio V2的应用场景
- 实时语音交互：适用于虚拟主播、实时语音助手等场景，提供低延迟和情感表达的自然互动。
- 音频内容创作：能生成自然对话和旁白，为有声读物、互动培训及动态故事讲述等提供强大支持。
- 娱乐和创意领域：语音克隆功能可复制特定人物的声音，开启娱乐和创意领域的新可能性。