Cnbeta 02月18日
中国首个AI短剧视频生成模型面世 昆仑万维开源SkyReels-V1
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

昆仑万维开源了中国首个面向AI短剧创作的视频生成模型SkyReels-V1和表情动作可控算法SkyReels-A1。SkyReels-V1专注于生成影视级人物的微表情和动作,支持33种表情和400多种动作组合,高度还原真人情感,并具备电影级光影美学。该模型基于高质量影视数据训练,支持文生视频和图生视频,参数规模领先开源模型。通过自研推理优化框架“SkyReels-Infer”,大幅提升推理效率,降低延迟,并支持多种部署策略,满足不同显存用户的需求。SkyReels-A1是中国首个SOTA级别表情动作可控算法,能够生成逼真的人物动态视频,在表情动作的复杂性和自然度上更具优势。

🎬SkyReels-V1是昆仑万维开源的中国首个面向AI短剧创作的视频生成模型,专注于影视级人物微表情和动作的生成,是全球极少数开源的视频生成模型。

🎭SkyReels-V1支持33种细腻的人物表情和400多种自然动作组合,高度还原真人情感表达,并具备电影级光影美学,基于高质量影视数据训练,支持文生视频和图生视频功能。

🚀自研推理优化框架“SkyReels-Infer”大幅提升推理效率,实现544p分辨率,单台4090只需80s,支持分布式多卡并行,采取fp8 quantization以及parameter-level offload,满足低显存用户级显卡运行需求。

🤖SkyReels-A1是中国首个SOTA级别表情动作可控算法,支持视频驱动的电影级表情捕捉和高保真微表情还原,能够基于任意人体比例生成逼真的人物动态视频。

2月18日,昆仑万维开源中国首个面向AI短剧创作的视频生成模型SkyReels-V1、中国首个SOTA级别基于视频基座模型的表情动作可控算法SkyReels-A1。据悉,SkyReels-V1是一款专注于AI短剧创作的开源视频生成模型,能够实现影视级人物微表情和动作的生成。

SkyReels-V1不仅是全球极少数开源的视频生成模型,还是围绕人物表演、开源视频生成模型中性能最强的,其支持33种细腻人物表情和400多种自然动作组合,高度还原真人情感表达,并具备电影级光影美学。其基于高质量影视数据训练,支持文生视频和图生视频功能,参数规模在开源模型中领先。



SkyReels-V1文生视频指标对比(来源:昆仑万维SkyReels)

在自研推理优化框架“SkyReels-Infer”的加持下,大幅提升推理效率,实现544p分辨率,推理基于单台4090只需80s,还支持分布式多卡并行,支持Context Parallel,CFG Parallel,和 VAE Parallel。此外,采取fp8 quantization以及parameter-level offload,满足低显存用户级显卡运行需求;支持flash attention、SageAttention,模型编译优化等,进一步优化延迟;基于开源diffuser库,提升易用性。

在同等RTX4090资源情况下对比(4卡),SkyReels-Infer版本比HunyuanVideo官方版本端到端延迟减少58.3%(293.3s vs 464.3s);SkyReels-Infer版本具备更鲁棒的部署策略,支持用户级别显卡1卡-8卡的推理部署。


图2丨推理生成544p视频,使用相同卡数的RTX 4090,SkyReels-Infer版本端到端延迟优于HunyuanVideo官方(xdit) 58.3%

在同等A800资源情况下对比,SkyReels-Infer版本比HunyuanVideo官方版本端到端延迟减少14.7%~28.2%,SkyReels-Infer版本具备更鲁棒的多卡部署策略。


图3丨推理生成544p视频,SkyReels-Infer版本具备更鲁棒的多卡部署策略,支持8卡部署

据悉,SkyReels-A1是中国首个SOTA级别表情动作可控算法,支持视频驱动的电影级表情捕捉和高保真微表情还原。该算法能够基于任意人体比例生成逼真的人物动态视频,支持侧脸表情控制和眉眼微表情生成,并可实现更大幅度的人物动作驱动。相比同类算法,SkyReels-A1在表情动作的复杂性和自然度上更具优势。

开源地址:

SkyReels-V1:https://github.com/SkyworkAI/SkyReels-V1

SkyReels-A1:https://github.com/SkyworkAI/SkyReels-A1

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

SkyReels-V1 SkyReels-A1 AI短剧 视频生成模型 昆仑万维
相关文章