阿里妈妈推出淘宝星辰图生视频工具，该工具基于自研大模型，利用电商数据和设计经验，为商家提供高效的视频生成服务。它能理解商品展示手法，支持多语种语义，遵循物理规律，并保持画面元素的稳定性。该工具操作便捷，仅需静态图片即可生成高质量视频，并能根据文本描述生成视频。此外，它还具备专业的光影效果，并能稳定保持电商图片中的文字、贴纸等元素。该工具旨在帮助商家低成本制作原生化电商视频，应用于商品主图、卖点展示、服饰展示、虚拟试穿和UGC内容等场景。

💡 **更懂商品展示**：基于电商数据和设计经验，自动识别并应用最适合不同商品的展示手法，确保产品细节和整体风格的完美呈现。

🌐 **多语种语义理解**：深度理解参考图片和中/英文指令，精准捕捉文本中的关键动作信息，确保生成视频与用户意图高度契合。

🎬 **遵循物理规律**：严格遵循物理规律和动作规范，确保画面流畅自然，避免不符合现实的画面效果，提升视频真实感。

🖼️ **元素稳定保持**：无论是人脸、商品、文字或贴纸，都能保持清晰、完整、无抖动或变形，提升视觉一致性。

🚀 **便捷高效操作**：仅需输入静态图片，即可生成高质量的5秒视频，支持文本描述生成，操作简单高效。

阿里妈妈技术 2025-01-13 12:29 北京

【淘宝星辰 · 图生视频】工具重磅上线！目前已对淘宝天猫商家开放。

机器之心发布

机器之心编辑部

这两年，大模型作为前沿技术，正逐步深入电商行业的各个环节。

2025，这一变革仍在加速：近日，【淘宝星辰 · 图生视频】工具已重磅上线，并对淘宝天猫商家正式开放！

体验地址：https://agi.taobao.com/

（目前仅对淘宝天猫商家开放，普通用户请耐心等待~）

一、淘宝星辰：懂你，更懂电商！

【淘宝星辰】是由阿里妈妈基于自研的淘宝星辰视频生成大模型推出的视频AIGC工具。依靠先进的自研大模型、海量的电商数据、丰富的设计语言和业内领先的营销经验，【淘宝星辰 · 图生视频】工具在电商视频生成中展现出以下核心优势：

更懂商品的展示手法：基于丰富的电商数据和设计经验，自动识别并应用最适合不同类别商品的展示手法。从产品细节的精准呈现到整体风格的统一协调，确保每一件商品都能以最佳方式展示。

更强的多语种语义遵循能力：深度理解参考图片和多语种指令（中/英），精准捕捉文本指令中的关键动作信息，确保生成视频与用户意图高度契合。

合理的物理和动作规律：严格遵循物理规律和动作规范，确保画面流畅自然，避免出现不符合现实的画面效果，提升视频的真实感和专业度。

稳定的人物、商品和装饰保持：无论是人脸、商品、还是文字、贴纸等装饰元素，始终保持清晰、完整、无抖动或变形，提升视觉一致性。

二、淘宝星辰视频生成大模型

在主流AIGC背景下，视频生成早已不是单纯的生成算法优化和应用，而是一个更加复杂的、系统性的算法工程，其中人、数据、模型、算力是最核心的四个因素。

在2024年3月，我们基于Unet Diffusion Model路线研发并上线了阿瞳木动效视频，实现了视频AIGC在电商场景的首次应用落地，在业内产生了一定的传播度和影响力。但是，由于技术路线、数据等多个因素的限制，阿瞳木动效视频在画面稳定性、内容可控性、目标与动作丰富性等关键要素上，仍然存在较大的进步空间。

从去年3月至今，我们在视频AIGC方向上坚定地持续投入。通过算法、数据、工程等众多团队的密切协作，我们完成了面向生成任务的数据飞轮、自研3D VAE、自研淘宝星辰视频生成大模型（包括Tbstar-T2V、Tbstar-I2V、Tbstar-V2V等）等多个关键模块和模型从0到1的建设。目前，Tbstar-I2V大模型已经应用于【淘宝星辰 · 图生视频】工具中，为用户提供更懂电商的图生视频功能。

淘宝星辰视频生成大模型

三、更懂电商的图生视频

3.1 操作便捷

仅需输入一张静态图片，淘宝星辰可根据对图片的理解直接生成视频，也可遵循用户输入的文本描述生成视频，一键生成高质量的5秒视频。

【淘宝星辰 · 图生视频】工具

3.2 更懂商品的展示手法

以更懂电商的方式展示服饰和非服饰商品，尤其是对模特动作的流畅性和专业性提升显著。

prompt：一个模特脸上带着酷酷的表情展示衣服

prompt：模特拿着咖啡，走向镜头，展示衣服

prompt：悬浮的气泡和水滴飘动

prompt：商品不动，植物随风摇动，云雾移动

3.3 更强的多语种语义遵循能力

深度理解参考图片，支持中英输入，精准捕捉文本指令中的关键动作信息，确保生成视频与用户意图高度契合。

prompt：模特拿手机挡着脸，对镜自拍展示衣服

prompt：男生把手搭在女生肩膀上，两人靠在一起

3.4 专业的光影效果

根据参考图片和用户，推理光线变化，生成电影质感的光影效果。

prompt：一个女人的脸部特写，创造出柔和的阴影和高光

prompt：光线缓慢移动，创造出动态的阴影,背景保持不变，突出了人物面部和装饰的微妙变化

3.5 稳定的人物、商品和装饰保持

尤其针对电商图片中常见的文字、贴纸等装饰元素，始终保持清晰、完整、无抖动或变形，提升视觉一致性。

prompt：一个女模特对着镜头展示衣服

prompt：镜头后退，女模特走向镜头，展示衣服

四、高品质低成本的原生化应用

结合解说视频、模版视频等后期剪辑类工具，实现高品质、原生化电商视频的低成本智造，应用至主流电商场景，以及泛娱乐场景。

应用1：商品主图视频供给

单张商品主图一键生成主图视频。

单张主图 vs 主图视频

应用2：卖点吸睛视频

根据多张模特图分别生成视频片段，采用模版视频方式制作商品短视频，添加转场、特效和文字，快速生成吸睛的产品展示视频。

应用3：服饰一体化解决方案

“模特图”或“平铺图”+虚拟模特，都能轻松生成多样化服饰视频。

不同SKU平铺图 | 虚拟模特穿搭图 | 多SKU服饰视频

应用4：虚拟试穿视频

根据用户虚拟试穿图片一键生成虚拟试穿视频，模拟服饰的真实上身效果。

用户虚拟试穿图

用户虚拟试穿视频

应用5：UGC场景视频化

UGC图片一键转为视频，提升视频供给，例如评价、买家秀、逛逛等。

应用6：泛娱乐场景

AIGC时代可以不活但不能没活儿~

prompt：超级英雄和恐龙在沙滩上慢慢散步，背景是城市的天际线

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道：liyazhou@jiqizhixin.com

阅读原文

跳转微信打开