DiaMoE-TTS是什么
DiaMoE-TTS 是清华大学和巨人网络联合推出的多方言语音合成（TTS）框架。框架基于国际音标（IPA）统一输入体系，结合方言感知的 Mixture-of-Experts（MoE）架构和低资源适配策略（PEFT），实现低成本、低门槛的多方言语音合成。框架支持多种方言和小语种，能在少量数据下快速建模，兼具高效性和灵活性。DiaMoE-TTS数据、代码和方法全面开源，推动方言保护与文化传承，让小众语言在数字世界中被听见。
DiaMoE-TTS的主要功能
- 多方言语音合成：支持多种方言和小语种语音合成，涵盖粤语、闽南话、吴语等，能扩展到京剧韵白等特殊类型，让小众语言能开口说话。
- 低资源适配：通过 PEFT 策略和数据增强，在仅有数小时语料的低资源条件下，能快速适配新方言，合成自然流畅的语音。
- 高可扩展性：全链路开源，提供完整的数据预处理、训练和推理代码，支持多种语言，方便研究者和开发者复现与扩展。
- 高自然度语音合成：用方言感知 MoE 架构，通过动态门控机制选择专家网络，保留每种方言的独特音色和韵律，提升语音自然度。
DiaMoE-TTS的技术原理
- 统一的 IPA 前端：使用国际音标（IPA）作为统一输入体系，将所有方言的语音映射到同一音素空间，消除跨方言间的差异性，保证模型训练的一致性和泛化能力。
- 方言感知 MoE 架构：引入多个专家网络，每个专家专注于学习一种或几种方言的特征，避免单一网络的“风格平均化”问题。：根据输入的 IPA 自动选择最适合的专家网络进行语音合成，同时加入方言分类辅助损失，增强专家网络的区分能力。
- 低资源适配策略（PEFT）：在 text embedding 层和注意力层中融入 Conditioning Adapter 和 LoRA，仅需微调少量参数完成方言扩展，主干网络和 MoE 模块保持冻结。用音高扰动和语速扰动等技术，提升模型在低资源条件下的合成效果。
- 多阶段训练方法：在 F5-TTS 原始 checkpoint 的基础上，引入 IPA 音素转换的数据进行预热训练，实现输入形式的平滑迁移。用多个开源方言数据进行联合建模，激活 MoE 结构，学习共享特征、区分不同方言的发音模式。通过动态门控机制和方言分类辅助损失，进一步优化 MoE 的分流效果，捕捉每种方言的独特特征。针对仅有数小时语料的新方言，用 PEFT 策略结合数据增强，实现高效迁移、保持已有知识不被遗忘。
DiaMoE-TTS的项目地址
- GitHub仓库：https://github.com/GiantAILab/DiaMoE-TTS
- HuggingFace模型库：https://huggingface.co/RICHARD12369/DiaMoE_TTS
- arXiv技术论文：https://www.arxiv.org/pdf/2509.22727
DiaMoE-TTS的应用场景
- 教育领域：为方言和小语种教学提供生动的语音合成工具，帮助学生更好地学习和掌握不同语言的发音。
- 文化保护：助力方言和小语种的保护与传承，通过语音合成技术记录和重现濒临消失的方言，保留文化多样性。
- 虚拟人与数字内容：为虚拟人、数字助手等生成多样的方言语音，丰富虚拟角色的表现力，提升用户体验。
- 数字文旅：在旅游景点提供多种方言的语音导览，增强游客对当地文化的认同感和亲切感。
- 跨境交流：支持多种语言和方言的语音合成，促进不同语言背景的人群之间的交流与理解。