ControlFoley快速摘要：小米开源可控视频音效生成框架
ControlFoley是小米大模型应用团队于2026年5月开源的可控视频音效生成模型，支持文本引导、文本控制与参考音频控制三类V2A任务，面向影视、游戏与短视频音频生成场景，重点解决多模态冲突下的可控生成问题。
- 模型名称：ControlFoley
- 开发公司：小米大模型应用团队
- 发布时间：2026年5月29日正式开源
- 主要功能：视频生成音频（V2A）、文本控制音频、参考音频风格迁移
- 使用要求：Python + PyTorch + GPU推理环境
- 开源情况：代码、模型权重、Demo与技术报告已开源
- 适用场景：影视后期、游戏音效、短视频创作、广告配音
- 技术特点：多模态控制 + 时空音视频编码 + 音色解耦
- 价格：完全开源（非商业API定价模式）
ControlFoley的核心优势
- 统一多任务控制能力：ControlFoley统一支持TV2A、TC-V2A与AC-V2A三类任务，通过单一框架实现文本引导、文本控制与参考音频控制，避免多模型切换带来的控制损失，在VGGSound-Test等数据集上表现出稳定生成能力。
- 跨模态冲突处理能力：在文本与视频语义冲突场景下引入控制优先机制，使模型在L3强冲突条件下仍保持较低视觉依赖度，IB指标显著下降，同时CLAP语义一致性保持稳定，提升复杂创作场景可控性。
- 时间同步精度优化：通过CAV-MAE-ST时空编码结构增强动作-声音对齐能力，在DeSync指标评估中达到0.36–0.38区间，优于多类开源V2A模型，显著降低音画错位问题。
- 音色与时间解耦机制：参考音频仅用于音色建模，通过时间-音色分离策略避免节奏干扰，使风格迁移过程中保持视频动作同步，提升AC-V2A任务稳定性。
- 开源SOTA表现：在VGGSound-Test、Kling-Audio-Eval及MovieGen-Audio-Bench等基准测试中达到开源SOTA，在IS与CLAP等指标上整体优于MMAudio与HunyuanVideo-Foley。
ControlFoley的核心功能
- TV2A文本引导配音：输入视频与文本提示生成同步音效，例如输入“滑板摩擦地面”，输出对应8秒音频，模型根据视觉动作生成语义匹配声音并进行时间对齐。
- TC-V2A文本控制生成：在视频与文本冲突情况下优先遵循文本指令，例如输入敲门视频+“金属撞击声”，输出强化金属质感音效，同时保持与动作发生时间同步。
- AC-V2A参考音频控制：输入视频+参考音频，实现音色迁移，例如输入网球击打视频+战鼓音频，输出保持击打节奏但呈现战鼓音色的同步音效。
- 多模态统一推理：支持视频、文本、音频任意组合输入，通过随机模态dropout训练，使模型在缺失条件下仍保持稳定生成能力。
- 环境与事件音生成：支持雨声、脚步、爆炸等事件级音效生成，基于扩散模型逐步生成波形结构，提高高频细节保真度。
ControlFoley的技术原理
- CAV-MAE-ST时空编码器：结合视觉与音频联合建模结构，对视频帧与音频事件进行时序对齐学习，增强动作发生时间与声音触发点的一致性，提高音画同步能力。
- 跨模态注意力融合机制：使用CLIP语义编码与音视频联合特征进行交叉注意力计算，使文本、视觉与音频信息在统一潜空间中对齐，提升多模态控制能力。
- 时间-音色解耦结构：将参考音频拆分为音色特征与时间特征，仅保留音色向量参与生成，避免节奏信息干扰视频同步结构，提高AC-V2A稳定性。
- 扩散式音频生成架构：采用Latent Diffusion方式逐步去噪生成音频频谱，在UNet结构中结合时间步控制实现高保真音频合成，降低生成噪声与失真。
- 多模态鲁棒训练机制：通过模态dropout与REPA对齐目标，使模型在单模态或多模态输入情况下保持一致输出分布，提高复杂输入环境稳定性。
ControlFoley与主流模型对比
| 对比维度 | ControlFoley | AudioCraft | Stable Audio | MMAudio | 通义万相 | Kling-Foley |
|---|---|---|---|---|---|---|
| 任务覆盖 | 支持TV2A/TC-V2A/AC-V2A统一框架，覆盖可控视频配音与参考音频控制 | 主要支持T2A文本生成音频任务，不支持视频输入控制 | 专注T2A长音频生成，不支持视频对齐与多模态控制 | 支持基础TV2A视频配音任务，无文本冲突控制机制 | 多模态生成体系逐步扩展音频能力，视频音频未完全统一 | 商业级V2A配音能力，偏自动生成模式，控制能力较弱 |
| 文本控制能力 | 支持TC-V2A冲突控制，IB可降至约0.36–0.38，仍保持语义对齐能力 | 仅支持文本条件生成，无法处理视频冲突或多模态控制 | 文本驱动生成音频，缺乏视觉语义对齐能力 | 文本易被视觉主导覆盖，控制稳定性较弱 | 文本控制能力依赖多模态融合策略，稳定性未统一优化 | 文本控制与视觉语义融合较强但不可调节优先级 |
| 参考音频控制 | 支持AC-V2A，采用时间-音色解耦，仅控制音色不干扰同步 | 不支持参考音频控制，仅文本生成 | 不支持音色迁移，仅基于文本生成 | 不支持参考音频控制机制 | 部分实验性支持音频风格迁移能力 | 支持有限音色风格迁移但不可解耦时间结构 |
| 音画同步能力 | 采用CAV-MAE-ST增强时空建模，DeSync最低约0.36级表现 | 无视频同步机制，仅生成独立音频 | 无时间轴对齐能力 | 基础同步能力，易出现事件错位 | 视频生成体系较强但音频同步能力独立优化不足 | 同步效果较好但依赖闭源系统调优 |
| 开源与可扩展性 | 开源模型、权重与推理代码完整开放，支持二次开发 | 完全开源，偏音频生成生态 | 开源版本有限，核心能力受限 | 开源研究模型，可复现但工程化不足 | 部分能力开源，整体生态闭合度较高 | 商业闭源系统，不支持模型级修改 |
从技术路径来看，AudioCraft与Stable Audio代表传统T2A生成模型路线，主要解决“从文本生成音频”的单模态问题；MMAudio与通义万相属于早期多模态V2A探索阶段，但在文本冲突控制与参考音频解耦方面仍存在局限。Kling-Foley作为商业闭源系统，在音画质量上较强，但缺乏可解释的多模态控制机制。ControlFoley的核心差异在于引入统一多任务框架，通过视觉-文本联合编码与时间-音色解耦，使模型在冲突场景下仍能优先执行用户控制意图，同时保持音画同步稳定性，因此在可控性与泛化能力方面形成明显优势。
如何使用ControlFoley
- 环境配置：安装Python3.10+与PyTorch2.5环境，配置CUDA11.8以上GPU运行环境，同时安装FFmpeg用于音视频处理，确保支持音频频谱转换与解码。
- 代码部署：通过GitHub克隆仓库并下载模型权重，执行pip install -r requirements.txt安装依赖，确保huggingface-hub用于模型加载与推理调用。
- 输入准备：根据任务选择输入组合，如TV2A输入视频+文本提示，AC-V2A输入视频+参考音频，TC-V2A输入视频+冲突文本指令。
- 模型推理：执行demo.py脚本，设置推理步数50–100 steps与guidance scale 5.0–10.0，通过扩散模型生成音频latent并解码输出波形。
- 后处理导出：对输出音频进行EQ或降噪处理，导出48kHz WAV或MP3格式，并与视频进行时间轴对齐完成最终合成。
ControlFoley相关资源
- 项目官网：https://yjx-research.github.io/ControlFoley_web_page/
- GitHub仓库：https://github.com/xiaomi-research/controlfoley
- HuggingFace模型库：https://huggingface.co/YJX-Xiaomi/ControlFoley
- arXiv技术论文：https://arxiv.org/abs/2604.15086
ControlFoley的局限性
- 实时性不足：基于扩散模型的逐步生成机制导致推理延迟约1–5秒，不适用于实时语音或直播场景，主要面向离线音频生成任务。
- 计算资源依赖高：模型推理依赖GPU环境，建议16GB以上显存支持，否则在长视频或高分辨率音频生成中易出现性能瓶颈。
- 生态仍在早期阶段：虽然已开源代码与权重，但缺乏成熟商业API与标准工业级部署方案，主要用于研究与开发验证场景。
ControlFoley的典型应用场景
- 短视频创作：输入无声视频+文本提示生成同步音效，输出适配社交平台的完整音视频内容，用于提升内容完整度与沉浸感。
- 动画与游戏制作：输入角色动作视频+风格文本，生成武器、脚步或环境音，实现风格化音效设计与实时资产生成。
- 影视后期制作：输入影视片段+参考音频，实现统一音色风格控制，输出符合整片音效体系的后期音轨。
- 广告与营销内容：输入品牌视频+情绪文本提示，生成符合品牌调性的音频节奏，提高广告情绪表达一致性。
- 二创与直播内容：为直播切片或二创视频生成增强音效，使内容更具节奏感与传播性，提升用户观看体验。
ControlFoley常见问题
ControlFoley和普通视频配音模型有什么区别？
ControlFoley支持TV2A/TC-V2A/AC-V2A三类可控生成，可处理文本与视频冲突并降低视觉依赖（IB约0.36–0.38），普通V2A仅做自动配音。
ControlFoley和MMAudio哪个好？
ControlFoley在冲突控制与参考音频任务更强，MMAudio侧重基础V2A生成，缺乏TC-V2A与AC-V2A能力。
ControlFoley支持实时生成吗？
不支持实时生成，扩散模型推理约1–5秒延迟，适合离线视频音效制作。
ControlFoley是免费开源的吗？
代码开源（Apache 2.0），模型权重非商业许可（CC BY-NC 4.0），可用于研究与非商业用途。
ControlFoley最低配置要求？
建议16GB显存GPU（如3090/4090），CUDA 11.8+，推理8秒音频约1–5秒。