淘宝星辰是什么
淘宝星辰是阿里妈妈推出的电商视频生成大模型，专为淘宝天猫商家设计。能基于商家输入的图片或文本指令，一键生成高质量的视频。核心优势在于更懂商品展示，能精准识别并应用适合不同商品的展示手法；具备强大的多语种语义遵循能力，确保生成视频与用户意图高度契合；遵循物理和动作规律，使画面流畅自然；能稳定保持人物、商品和装饰元素的清晰与完整。商家可用它为商品详情页增添生动视频，提升商品吸引力，目前该工具已对淘宝天猫商家开放使用。
淘宝星辰的主要功能
- 更懂商品的展示手法：基于丰富的电商数据和设计经验，自动识别并应用最适合不同类别商品的展示手法。从产品细节的精准呈现到整体风格的统一协调，确保每一件商品都能以最佳方式展示。
- 更强的多语种语义遵循能力：深度理解参考图片和多语种指令（中/英），精准捕捉文本指令中的关键动作信息，确保生成视频与用户意图高度契合。
- 合理的物理和动作规律：严格遵循物理规律和动作规范，确保画面流畅自然，避免出现不符合现实的画面效果，提升视频的真实感和专业度。
- 稳定的人物、商品和装饰保持：人脸、商品、还是文字、贴纸等装饰元素，始终保持清晰、完整、无抖动或变形，提升视觉一致性。
淘宝星辰的技术原理
- 基于Unet Diffusion Model路线：淘宝星辰视频生成大模型是在Unet Diffusion Model路线的基础上研发的。Unet Diffusion Model是生成模型，通过逐步去除噪声来生成数据，能学习到数据的复杂分布，生成高质量的视频内容。
- 自研3D VAE：为了更好地处理视频中的三维信息和空间结构，淘宝星辰研发了自研的3D VAE（变分自编码器）。3D VAE可以对视频中的物体、场景等进行三维建模和编码，将复杂的三维信息映射到低维的潜在空间中，再通过解码器从潜在空间中重建出高质量的视频帧，使生成的视频在空间结构和物体形态上更加真实、自然。
- 面向生成任务的数据飞轮：构建了面向视频生成任务的数据飞轮，通过不断收集、标注和利用海量的电商数据，为模型训练提供了丰富的素材和监督信息。数据涵盖了各种商品的图片、视频、文本描述等，使模型能学习到不同商品的展示手法、风格特点以及与用户意图的对应关系，在生成视频时能够更精准地满足电商场景下的需求。
- 多模型协同：淘宝星辰视频生成大模型包括Tbstar-T2V（文本到视频）、Tbstar-I2V（图片到视频）、Tbstar-V2V（视频到视频）等多个子模型，子模型相互协同，共同完成视频生成任务。进一步丰富视频生成的功能和效果。
如何使用淘宝星辰
- 访问平台：登录淘宝星辰的官方网站。
- 选择功能模块：选择“图生视频”功能模块。
- 输入素材：上传一张高质量的服装模特展示图。
- 生成视频：点击生成按钮，等待视频生成。
- 视频编辑：生成的视频会自动显示在页面上，你可以进行简单的编辑，如添加品牌logo、调整颜色等。
- 下载和使用：编辑完成后，下载视频并将其添加到商品详情页或用于社交媒体推广。
- 使用限制：目前淘宝星辰仅对淘宝天猫商家开放，普通用户暂时无法使用。商家需要确保账号具有相应的权限。
淘宝星辰的应用场景
- 商品主图视频：某服装商家将一张高质量的模特展示图上传到淘宝星辰，生成一个5秒的视频主图，用于商品详情页，显著提高了商品的点击率和转化率。
- 卖点吸睛视频：某电子产品商家上传多张产品图片，生成多个视频片段，通过模版视频方式添加转场、特效和文字，制作成一个展示产品功能和优势的卖点视频，用于社交媒体推广。
- 种草内容视频：某美妆商家上传多张美妆产品图片，生成多个视频片段，通过剪辑视频方式添加解说和字幕，制作成一个种草视频，发布在小红书等平台上，激发消费者的购买欲望。
- 虚拟试穿视频：某服饰商家上传用户的虚拟试穿图片，生成虚拟试穿视频，模拟服饰的真实上身效果，帮助消费者更好地了解商品，减少购买顾虑。