Video Alchemist是什么
Video Alchemist是Snap公司等推出的新型视频生成模型，具备多主体、开放集合个性化能力，能根据文本提示和参考图像生成视频，无需在测试时进行优化。模型基于Diffusion Transformer模块，通过双重交叉注意力层将参考图像嵌入和主体级文本提示融入视频生成过程。Video Alchemist还引入了自动数据构建管道和多种数据增强技术，以增强模型对主体身份的关注，避免“复制粘贴效应”。为评估其性能，还提出了MSRVTT-Personalization新的视频个性化基准。
Video Alchemist的主要功能
- 个性化视频生成：具备内置的多主体、开放集合个性化能力，能同时对前景对象和背景进行个性化生成，无需在测试时进行优化。
- 基于文本提示和参考图像的条件生成：给定一个文本提示以及一组参考图像来概念化提示中的实体词，Video Alchemist能根据文本和参考图像生成相应的视频。
- Diffusion Transformer模块应用：模型基于新的Diffusion Transformer模块构建，通过额外的交叉注意力层将每个条件参考图像及其对应的主体级文本提示进行融合，实现多主体条件的生成，将每个主体的文字描述与其图像表示绑定在一起。
Video Alchemist的技术原理
- 多主体开放集合个性化：Video Alchemist具备内置的多主体、开放集合个性化能力，能同时对前景对象和背景进行个性化生成，无需在测试时进行优化。可以处理各种新颖的主体和背景概念，不需要对每个新主体或背景进行单独的优化。
- Diffusion Transformer模块：Video Alchemist基于新的Diffusion Transformer模块构建，模块通过额外的交叉注意力层将每个条件参考图像及其对应的主体级文本提示进行融合。具体来说，模型通过以下步骤实现多主体条件生成：
- 输入处理：给定一个文本提示和一组参考图像，模型首先将这些输入进行编码。
- 交叉注意力层：通过双重交叉注意力层，将参考图像嵌入和主体级文本提示融入视频生成过程，使生成的视频能够自然地保留主体身份和背景保真度。
- 主体级融合：引入主体级融合机制，将每个主体的文字描述与其图像表示绑定在一起，确保生成的视频中主体的准确性和一致性。
- 自动数据构建管道与图像增强：为了解决参考图像和视频配对数据集难以收集的问题，Video Alchemist设计了新的自动数据构建管道，引入了广泛的图像增强技术，以增强模型对主体身份的关注，避免“复制粘贴效应”：
- 数据收集：从多个帧中收集主体图像，并进行数据增强处理。
- 图像增强：通过多种数据增强技术，如旋转、缩放、颜色调整等，增强模型的泛化能力，减少过拟合现象。
- MSRVTT-Personalization基准：为了评估Video Alchemist的性能，引入了MSRVTT-Personalization新的视频个性化基准。在准确评估主体保真度，支持多种个性化场景，包括基于面部裁剪、单个或多个任意主体以及前景对象和背景组合的条件模式。
Video Alchemist的项目地址
- 项目官网：https://snap-research.github.io/open-set-video-personalization
- arXiv技术论文：https://arxiv.org/pdf/2501.06187
Video Alchemist的应用场景
- 短视频创作：个人用户可以将创意故事、奇幻场景转化为视频，制作独特的短视频分享至社交平台，展现个性。
- 动画制作：创作者可以用Video Alchemist生成动画角色和背景，快速制作动画短片，无需复杂的动画制作软件和技能。
- 历史事件：教师可以生成历史事件的视频，帮助学生更好地理解历史背景和事件过程。
- 剧本场景：制片人和导演可以生成剧本场景的初步视频样片，用于团队沟通和向投资方展示项目概念。
- 角色动作：可以生成角色的动作和表情，帮助演员和导演更好地理解角色的表演要求。