ConceptMaster是什么
ConceptMaster是用于多概念视频定制的创新框架，能在无需测试时调优的情况下，在扩散Transformer模型上生成高质量且概念一致的定制视频。框架通过学习解耦的多概念嵌入并将其独立注入扩散模型中，有效解决了多概念视频定制中的身份解耦问题，面对高度相似的视觉概念，能保证每个概念的保真度。
ConceptMaster的主要功能
- 多概念视频定制：能根据给定的多个参考图像，生成包含多个概念的高质量定制视频，且无需在测试时进行额外调优。比如可根据“一个男人在海边弹吉他”和“一个女人在桥前亲吻”的参考图像，生成相应概念的视频。
- 解决身份解耦问题：通过学习解耦的多概念嵌入，以独立的方式注入扩散模型，有效保证了具有多个身份的定制视频的质量，可精准区分不同概念的属性，即使对于高度相似的视觉概念也能保持各自的独特性。
- 高质量数据收集：精心建立了一个数据构建管道，能系统地收集跨不同概念的精确多概念视频实体数据，为训练能够良好表示和解耦各种概念的模型提供了有力支持，收集了超过130万对涵盖人类、生物和各种物体类别的视频实体对。
- 综合基准测试：设计了一个综合基准，从概念保真度、身份解耦能力和视频生成质量三个关键维度验证模型的有效性，涵盖了六种不同的概念组合情景，为评估多概念视频定制模型的性能提供了全面的参考。
ConceptMaster的技术原理
- 扩散Transformer模型基础：ConceptMaster构建于基于Transformer的潜在扩散模型之上。模型使用3D变分自编码器（3D-VAE）将视频从像素空间转换到潜在空间，在此基础上构建Transformer模型。
- 多概念嵌入学习与注入
- 视觉概念表示提取：使用CLIP图像编码器从给定的参考图像中提取密集的视觉标记，然后通过一个可学习的Q-Former网络，利用这些标记作为键值库进行查询，提取出更全面的视觉语义表示。
- 解耦内部配对嵌入：将提取到的视觉表示与相应的文本标签结合，创建多模态概念表示。与直接将视觉表示与标题嵌入组合的方法不同，ConceptMaster使用T5编码器分别对每个概念标签进行编码，然后引入解耦注意力模块（DAM），对每对视觉和文本标签嵌入进行内部配对注意力操作，充分挖掘文本标签信息，增强每个概念的特定表示。
- 多概念嵌入组合与注入：将每个概念的多模态表示组合成一个复合嵌入，然后设计了一个多概念注入器（MC-Injector），以交叉注意力的方式将其嵌入到扩散Transformer模型中。MC-Injector作为一个额外的专用交叉注意力层，位于每个Transformer块中原有文本交叉注意力层之后，能有效学习概念而不受原有文本交叉注意力的干扰，增强多个身份的表示。
- 数据构建管道
- 快速筛选不合适的视频：从互联网收集超过640万段视频作为源数据，通过使用PySceneDetect过滤掉包含场景转换的视频，移除低光流分数的视频以及低光照对比度的视频，确保视频数据的基本属性维持在高标准。
- 细粒度身份信息提取：准确提取每个身份的区域和文本标签。使用LISA（基于MLLM的分割器）输入文本提示和图像，凭借强大的视觉推理能力提取实体掩码，去除过大或过小或高度碎片化的掩码，从这些掩码中得出框区域，通过CLIP分类去除误分类的区域。
- 辅助数据集联合训练：除了构建的MCVC数据外，ConceptMaster还利用辅助数据集增强概念表示。复制了BLIPDiffusion的单概念图像数据集（约30万）以增强高特异性概念，同时纳入了CelebV单概念视频数据集（约6万）以改善人物表示。构建数据、BLIP-Diffusion和CelebV的数据采样比例为8:1:1。
ConceptMaster的项目地址
ConceptMaster的应用场景
- 视频内容创作：电影、电视剧制作团队可以根据剧本中的特定场景描述，利ConceptMaster快速生成包含多个角色和道具的概念视频，为实际拍摄提供创意参考和视觉指导。
- 动画制作：动画师可以借助ConceptMaster根据角色设计和故事情节，生成动画片段的初步版本，提高创作效率。
- 游戏开发：游戏开发者可以用ConceptMaster生成游戏中的过场动画、角色动作演示等视频内容，丰富游戏的剧情表现和角色塑造。
- 产品展示与推广：企业可以用ConceptMaster制作产品宣传视频，将产品的外观、功能、使用场景等多个概念融合到一个视频中。