Animated Drawings是什么
Animated Drawings是Meta AI推出的开源工具，基于AI技术将手绘人物绘画自动转化为动画。Animated Drawings提供一套完整的工具和算法，能检测、分割绘画中的人物，为其生成动画效果。用户能通过配置文件灵活控制动画的场景、动作和角色。工具提供自动注释生成工具，帮助用户快速创建动画所需的注释文件。Animated Drawings支持多种输出格式，如MP4视频和透明GIF。
Animated Drawings的主要功能
- 自动动画化手绘人物：将用户上传的手绘人物绘画自动转化为动画，支持多种动作和场景。
- 灵活的配置文件：基于配置文件（如yaml格式）控制动画的细节，包括角色动作、场景设置等。
- 自动注释生成：用AI模型自动检测绘画中的人物并生成注释文件（如关节位置、分割掩码），简化动画制作流程。
- 多格式输出：支持输出为MP4视频、透明GIF等格式，满足不同使用需求。
- 多角色与背景添加：支持在动画中添加多个角色和背景图像，丰富动画内容。
- 自定义BVH文件支持：用户能用自己的BVH（骨骼动画）文件驱动动画，适配不同骨架动作。
- 错误修正工具：提供界面工具，支持用户手动修正AI模型生成的错误注释，确保动画效果更准确。
Animated Drawings的技术原理
- 图像检测与分割：基于计算机视觉技术对用户上传的手绘人物绘画进行检测和分割。通过预训练的目标检测模型，系统能够识别出绘画中的人物轮廓及其在图像中的位置。用分割算法生成分割掩码，将人物从背景中分离出来。
- 姿态估计：在检测到人物轮廓后，系统用姿态估计模型（例如基于深度学习的OpenPose模型）检测人物的关键点，如头部、四肢等关节位置。这些关键点的检测结果被保存为注释文件，为动画生成提供必要的数据支持。用精确的关节位置检测，系统能更好地理解人物的姿势和结构，实现更自然的动作映射。
- 动画生成：为将动作数据应用到手绘人物上，用BVH（骨骼动画）文件作为动作源。文件包含人物动作的骨骼数据。系统基于动作重定向技术，将BVH文件中的动作数据映射到绘画人物的关节上，让绘画人物能执行相应的动作。系统用As-Rigid-As-Possible形状变形算法，确保在动作执行过程中，绘画人物的形状保持自然和连贯。
- 配置与渲染：用户能通过配置文件（如yaml格式）灵活定义动画的具体参数，包括角色、动作、场景等。配置文件为动画生成提供详细的指令，使系统能根据用户的个性化需求生成动画。最后，系统根据配置文件将动画渲染为视频或GIF格式，支持多种输出选项，如透明背景等，满足不同用户的需求。
Animated Drawings的项目地址
- 项目官网：https://sketch.metademolab.com/canvas
- GitHub仓库：https://github.com/facebookresearch/AnimatedDrawings
Animated Drawings的应用场景
- 创意与艺术教育：激发儿童和艺术爱好者的创造力，将绘画作品变成动画，增强艺术教育的趣味性和互动性。
- 内容创作与娱乐：创作者快速制作手绘动画短视频或短片，分享到社交媒体，吸引观众，提升内容吸引力。
- 互动体验与展览：在博物馆、展览、线下活动中，通过实时动画化观众绘画，增加互动性和趣味性，提升参与感。
- 广告与营销：品牌制作个性化手绘动画广告，吸引消费者注意力，提升社交媒体曝光度。
- 游戏开发：快速生成角色动画原型，开发互动游戏，让玩家用绘画控制游戏角色动作。