FairyGen是什么
FairyGen 是大湾区大学推出的动画故事视频生成框架，支持从单个手绘角色草图出发，生成具有连贯叙事和一致风格的动画故事视频。框架借助多模态大型语言模型（MLLM）进行故事规划，基于风格传播适配器将角色的视觉风格应用到背景中，用 3D Agent重建角色生成真实的运动序列，基于两阶段运动适配器优化视频动画的连贯性与自然度。FairyGen 在风格一致性、叙事连贯性和运动质量方面表现出色，为个性化动画创作开辟新途径。
FairyGen的主要功能
- 动画故事视频生成：从单个手绘角色草图出发，生成具有连贯叙事和一致风格的动画故事视频。
- 风格一致性保持：基于风格传播适配器，将手绘角色的视觉风格应用到背景中，确保整个视频的风格一致性。
- 复杂运动生成：用3D代理重建角色，生成物理上合理的运动序列，支持复杂且自然的运动表现。
- 叙事连贯性支持：借助多模态大型语言模型（MLLM）进行故事规划，生成结构化的故事板，确保视频的叙事连贯性。
FairyGen的技术原理
- 故事规划：用多模态大型语言模型（MLLM）从单个手绘角色草图中生成结构化的故事板，定义全局叙事概述和详细的镜头级故事板，为视频的叙事框架提供基础。
- 风格传播：基于风格传播适配器，学习手绘角色的视觉风格，应用到背景中，确保背景与角色在视觉风格上的一致性，增强视频的整体视觉连贯性。
- 3D运动建模：用3D Agent重建角色，基于骨骼绑定和运动重定向技术，生成物理上合理的运动序列，为动画提供自然、流畅的运动表现。
- 两阶段运动适配器：在图像到视频扩散模型的基础上，基于两阶段训练策略。第一阶段学习角色的空间特征，去除时间偏见；第二阶段基于时间步移策略学习运动动态，确保运动的连贯性和自然性。
- 视频生成与优化：将上述各部分结合，基于微调的图像到视频扩散模型，直接渲染出与故事板对齐的多样化且连贯的视频场景，最终生成完整的动画故事视频。
FairyGen的项目地址
- 项目官网：https://jayleejia.github.io/FairyGen/
- GitHub仓库：https://github.com/GVCLab/FairyGen
- arXiv技术论文：https://arxiv.org/pdf/2506.21272
FairyGen的应用场景
- 教育领域：教师可借助 FairyGen 将学生手绘角色转化为动画故事，激发学生写作与创造力。
- 数字艺术创作：艺术家用 FairyGen 快速将手绘草图生成动画视频，高效实现创意，节省时间和成本。
- 心理健康治疗：治疗师基于 FairyGen 帮助患者将手绘角色变成动画故事，促进情感表达与心理康复。
- 儿童创意启蒙：家长与儿童一起用 FairyGen，将儿童手绘角色制作成动画，培养想象力与创造力，增进亲子互动。
- 广告营销：广告商运用 FairyGen 制作个性化动画广告，吸引受众，提升品牌传播效果。