阿里技术 01月18日
懂你,更懂电商:阿里妈妈推出淘宝星辰视频生成大模型及图生视频应用
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

淘宝星辰图生视频工具是阿里妈妈推出的基于自研大模型的视频AIGC工具,已对淘宝天猫商家开放。该工具利用电商数据和设计经验,能够更懂商品展示手法,并具备强大的多语种语义理解能力,确保生成视频与用户意图高度契合。它遵循物理规律和动作规范,保持画面流畅自然,并能稳定呈现人物、商品和装饰元素。该工具操作便捷,仅需一张静态图片或文本描述即可生成高质量视频,支持多种应用场景,如商品主图视频、卖点吸睛视频、种草内容视频等,并提供服饰一体化解决方案和虚拟试穿功能,助力电商商家低成本高效制作原生化视频。

✨ 淘宝星辰图生视频工具基于自研大模型,利用电商数据和设计经验,能更精准地展示商品,并具备强大的多语种语义理解能力,确保生成视频与用户意图高度匹配。

🎬 该工具操作简便,仅需一张静态图片或文本描述即可生成高质量的5秒视频,尤其在服饰和非服饰商品的展示方面,模特动作的流畅性和专业性得到了显著提升。

💡 淘宝星辰图生视频工具提供多种应用场景,包括商品主图视频、卖点吸睛视频、种草内容视频等,还提供服饰一体化解决方案和虚拟试穿功能,助力电商商家低成本高效制作原生化视频。

🌟 该工具在生成视频时,能稳定保持人物、商品和装饰元素清晰完整,避免抖动或变形,并能根据参考图片和用户指令,推理光线变化,生成电影质感的光影效果。

智能创作与AI应用 2025-01-18 08:31 浙江

【淘宝星辰 · 图生视频】工具重磅上线!目前已对淘宝天猫商家开放~



这是2025年的第8篇文章

( 本文阅读时间:15分钟 )

【淘宝星辰】是由阿里妈妈基于自研的淘宝星辰视频生成大模型推出的视频AIGC工具。【淘宝星辰 · 图生视频】工具已重磅上线,并对淘宝天猫商家正式开放!

?? 体验地址https://agi.taobao.com/

// 目前仅对淘宝天猫商家开放,普通用户请耐心等待~



01



淘宝星辰:懂你,更懂电商!

依靠先进的自研大模型、海量的电商数据、丰富的设计语言和业内领先的营销经验,【淘宝星辰 · 图生视频】工具在电商视频生成中展现出以下核心优势:



02



淘宝星辰视频生成大模型

在主流AIGC背景下,视频生成早已不是单纯的生成算法优化和应用,而是一个更加复杂的、系统性的算法工程,其中人、数据、模型、算力是最核心的四个因素。

在2024年3月,我们基于Unet Diffusion Model路线研发并上线了阿瞳木动效视频,实现了视频AIGC在电商场景的首次应用落地,在业内产生了一定的传播度和影响力。但是,由于技术路线、数据等多个因素的限制,阿瞳木动效视频在画面稳定性、内容可控性、目标与动作丰富性等关键要素上,仍然存在较大的进步空间。

从去年3月至今,我们在视频AIGC方向上坚定地持续投入。通过算法、数据、工程等众多团队的密切协作,我们完成了面向生成任务的数据飞轮、自研3D VAE、自研淘宝星辰视频生成大模型(包括Tbstar-T2V、Tbstar-I2V、Tbstar-V2V等)等多个关键模块和模型从0到1的建设。目前,Tbstar-I2V大模型已经应用于【淘宝星辰 · 图生视频】工具中,为用户提供更懂电商的图生视频功能。

淘宝星辰视频生成大模型



03



更懂电商的图生视频

3.1 操作便捷

仅需输入一张静态图片,淘宝星辰可根据对图片的理解直接生成视频,也可遵循用户输入的文本描述生成视频,一键生成高质量的5秒视频。

【淘宝星辰 · 图生视频】工具

3.2 更懂商品的展示手法

以更懂电商的方式展示服饰和非服饰商品,尤其是对模特动作的流畅性和专业性提升显著。

prompt:一个模特脸上带着酷酷的表情展示衣服


prompt:模特拿着咖啡,走向镜头,展示衣服


prompt:悬浮的气泡和水滴飘动


prompt:商品不动,植物随风摇动,云雾移动

3.3 更强的多语种语义遵循能力

深度理解参考图片,支持中英输入,精准捕捉文本指令中的关键动作信息,确保生成视频与用户意图高度契合。

prompt:模特拿手机挡着脸,对镜自拍展示衣服


prompt:男生把手搭在女生肩膀上,两人靠在一起

3.4 专业的光影效果

根据参考图片和用户,推理光线变化,生成电影质感的光影效果。

prompt:一个女人的脸部特写,创造出柔和的阴影和高光


prompt:光线缓慢移动,创造出动态的阴影,背景保持不变,突出了人物面部和装饰的微妙变化

3.5 稳定的人物、商品和装饰保持

尤其针对电商图片中常见的文字、贴纸等装饰元素,始终保持清晰、完整、无抖动或变形,提升视觉一致性。

prompt:一个女模特对着镜头展示衣服


prompt:镜头后退,女模特走向镜头,展示衣服



04



高品质低成本的原生化应用

结合解说视频、模版视频等后期剪辑类工具,实现高品质、原生化电商视频的低成本智造,应用至主流电商场景,以及泛娱乐场景。

4.1 应用1:商品主图视频供给

单张商品主图一键生成主图视频。

单张主图 vs 主图视频

4.2 应用2:卖点吸睛视频

根据多张模特图分别生成视频片段,采用模版视频方式制作商品短视频,添加转场、特效和文字,快速生成吸睛的产品展示视频。

4.3 应用3:种草内容视频

根据多张商品图分别生成视频片段,采用剪辑视频方式制作商品短视频,配备解说、字幕等,生成商品种草视频。

4.4 应用4:服饰一体化解决方案

“模特图”或“平铺图”+虚拟模特,都能轻松生成多样化服饰视频。

不同SKU平铺图 | 虚拟模特穿搭图 | 多SKU服饰视频

4.5 应用5:虚拟试穿视频

根据用户虚拟试穿图片一键生成虚拟试穿视频,模拟服饰的真实上身效果。

用户虚拟试穿图

用户虚拟试穿视频

4.6 应用6:UGC场景视频化

UGC图片一键转为视频,提升视频供给,例如评价、买家秀、逛逛等。

4.7 应用7:泛娱乐场景

AIGC时代可以不活但不能没活儿~

prompt:超级英雄和恐龙在沙滩上慢慢散步,背景是城市的天际线




欢迎留言一起参与讨论~

阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

淘宝星辰 图生视频 AIGC 电商视频 视频生成
相关文章