AnimeGamer是什么
AnimeGamer 是腾讯 PCG 和香港城市大学共同推出的无限动漫生活模拟系统。基于多模态大语言模型（MLLM），支持玩家基于开放式的语言指令，用动漫角色的身份沉浸于动态游戏世界中。玩家能操控如《悬崖上的金鱼姬》中的宗介等角色，与游戏世界互动。游戏支持生成具有上下文一致性的动态动画镜头（视频）及角色状态（如体力、社交和娱乐值）的更新。相比传统方法，AnimeGamer 在角色一致性、语义一致性和动作控制等方面表现出色，为玩家带来沉浸式的动漫游戏体验。
AnimeGame的主要功能
- 角色扮演与互动：玩家扮演动漫角色，如《悬崖上的金鱼姬》的宗介，与游戏世界互动，让不同动漫的角色相遇互动。
- 动态动画生成：根据玩家指令，实时生成动态动画镜头（视频），展现角色动作和场景变化，且动画具有上下文一致性和动态性。
- 角色状态更新：根据角色行为和互动，动态更新角色的体力、社交和娱乐值，反映角色在游戏世界中的状态变化。
- 多轮对话交互：支持玩家基于自然语言进行多轮对话，模型基于历史上下文生成一致的游戏状态，提供连贯的游戏体验。
- 自定义游戏内容：支持玩家自定义喜欢的角色和场景。
AnimeGame的技术原理
- 多模态大语言模型：AnimeGamer 基于多模态大语言模型（MLLM），理解和生成包含文本和视觉信息的多模态数据。
- 动作感知多模态表示：游戏将动画镜头分解为视觉参考、动作描述和动作强度三个部分，基于编码器将信息整合为多模态表示。基于视频扩散模型解码为高质量的动态视频，确保生成的动画镜头具有上下文一致性和动态性。
- 视频扩散模型：视频扩散模型（如 CogVideoX）作为动画镜头的解码器，将多模态表示解码为动态视频。引入动作强度作为额外的条件，控制生成视频中的动作幅度，让动画更加自然和真实。
- 上下文一致性：将历史动画镜头的多模态表示作为上下文输入，模型能预测后续的游戏状态，确保生成的动画镜头在上下文中保持一致，对于维持游戏的连贯性和沉浸感至关重要。
- 角色状态管理：游戏基于 MLLM 预测角色的体力、社交和娱乐值的更新，状态更新反映角色在游戏世界中的行为和互动。角色状态的动态更新增加游戏的真实感和互动性。
AnimeGame的项目地址
- 项目官网：https://howe125.github.io/AnimeGamer.github.io/
- GitHub仓库：https://github.com/TencentARC/AnimeGamer
- HuggingFace模型库：https://huggingface.co/TencentARC/AnimeGamer
- arXiv技术论文：https://arxiv.org/pdf/2504.01014
AnimeGame的应用场景
- 个性化娱乐：玩家可选择喜欢的动漫角色和场景，基于语言指令体验专属冒险故事。
- 创意激发：为创作者提供灵感，生成角色互动和新剧情。
- 教育辅助：帮助学生学习语言表达和逻辑思维。
- 社交互动：玩家与朋友共同创造和分享动漫冒险故事。
- 游戏开发：助力开发者快速生成游戏内容，降低开发成本。