Bay的设计奥德赛 04月09日 17:51
AI视频进展速读|Pika高速更新,动漫风格神仙打架,Wan 2.1成为最强开源模型
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文聚焦于AI视频领域的最新发展。从2024年下半年开始,AI视频行业进入高速发展期,每周都有新产品和功能推出。文章重点介绍了Pika、Wan 2.1、Luma、Pixverse、Runway等模型和产品的更新,并分享了来自汗青工作室和yachimat的优秀案例。此外,文章还推荐了相关播客访谈,帮助读者深入了解AI视频领域的技术动态和产品实践。

🚀 Pika模型持续更新,Pika 2.2版本支持1080p分辨率和10秒视频生成,并成为行业内首个支持首尾帧的模型。

💡 Wan 2.1作为最强开源模型,在动漫平面风格上表现出色,但对硬件要求较高,推荐使用云端平台体验。

✨ Luma推出了Ray2 Flash模型,速度更快、价格更低,并增加了视频匹配声音、首尾帧、循环动画等功能。

🎬 汗青工作室利用Google Veo2制作了AI电影短片,并展示了数字人AI MV的制作成果,其中OmniHuman-1模型在口型还原方面表现出色。

⛸️ yachimat的Animate短片展示了Luma Ray2模型在复杂运动和头发动态表现上的突破,展现了AI视频模型在平面风格运动表现上的潜力。

原创 BayJ 2025-03-10 20:00 广东

自24年H2开始,AI视频行业以周为单位高速发展,我计划通过这个系列的文章选取新鲜产品动向、优质作品案例为大家介绍。

自24年H2开始,AI视频行业以周为单位高速发展,GenLumio是我从24年开始规划 - 设计 - 开发的AI视频项目,旨在为大家带来每周最新鲜的AI视频优秀作品、产品动向。

我计划通过这个系列的文章选取新鲜产品动向、优质作品案例为大家介绍。

更多案例欢迎访问我的网站:https://genlumio.framer.website/


一.AI视频模型 & 产品主要更新

Pika

近几个月Pika 动作颇多,在发布了主体物参考、主体物替换、给视频中添加元素、情人节模板等多个火爆功能后,Pika模型也进入2.2时代。

当前生成分辨率升级至 1080p,支持生成 10s 长视频,并成为行业内第一个支持10s 首尾帧功能的模型。

来自 Matt Menendez 的测评案例

目前支持1080p分辨率的有Luma Ray2和Pika 2.2、Pixverse模型;

目前支持首尾帧的产品有Pika 2.2、Runway、Luma、Kling、Vidu。

Wan 2.1 最强开源模型

阿里Wan 2.1 开源模型,支持 720p 、480p视频生成。但Wan模型对硬件要求极高,自行部署运行时间非常久。经过我的测试,可以说是当下最好的开源模型没有之一。非常感人的是,Wan对于动漫平面风格的支持也很好,开源视频整体迭代较慢,期待今后有又好又快的模型出现。

这里我用Wan 2.1和Luma 最新模型Ray2测试了几个案例做对比,可以看到Wan 2.1有着完全不输闭源模型的能力:视频中展示的片段几乎没有抽卡:

第二段油画花朵绽放的效果对语义理解到位,Luma呈现的效果不佳;但第三段Luma准确理解慢动作镜头的指令而Wan 没有理解。

大家如果想体验Wan的话可以考虑选择一些云端All in one平台,可以避免自己本地部署开源模型的麻烦,生成速度也更快。这里给大家推荐一款华人团队的产品Pollo,集成了最新的AI视频、图像生成工具。套餐支持梯度定价,可选择性非常高。

访问地址:https://pollo.ai?ref=yti3mjk

一个账号可以同时使用市面上11款热门视频模型,还是挺香的

Luma

Luma 在发布了惊艳的Ray2模型后,更新了视频匹配声音、首尾帧、循环动画、延长时间等功能。

同时推出了新型号Ray2 Flash,比Ray2 速度快 3 倍、价格便宜 3 倍。

Pixverse

Pixverse 上线4.0,其中一个3D效果的视频模板很有意思。自毒液特效、肌肉特效等爆火后,Pixverse和Pika尝到了甜头,都在视频特效道路上不断尝试。

同时上周Pixverse宣布月活突破1500万,注册用户达4000万。

Runway

从去年下半年开始Runway模型层面沉寂了比较久的时间,最近比较大的更新是增加了首帧风格化能力,通过给模型输入一张风格化图片,可以实现视频整体风格转换。

这个案例出自Ror_Fly,初始视频通过VEO2 I2V生成,然后通过Premiere进行像素化 + FPS 降低,通过Magnific的结构参考图像进行了首帧风格化,最终用Runway实现视频风格化。


二.最新优秀案例

T2V短片 - 汗青

Veo2 是Google发布的T2V视频模型,目前在T2V方向上拥有独一档的效果,近期能看到越来越多使用Veo2 T2V完成的作品。以下作品来自国内知名博主汗青工作室

数字人歌手MV - 汗青

同样来自汗青工作室的作品,他们内测了本月将在即梦上线的 对口型模型OmniHuman-1。该模型主要有以下特点:角度包容性高,此前的工具无法支持90度纯侧面;

·精细还原口型细节 ,放大后连嘴周围皮肤和牙齿都清晰可见

·能够直接识别歌词并精准对口,同时情绪饱满

·支持多人同唱

·即便人物嘴部较小或存在遮挡,也能自然呈现

Animate短篇 - yachimat

最近身边很多朋友问我Kling是不是当前最好的视频模型,其实在动画领域Kling并不惊艳,即Hailuo发布针对动漫场景训练过的I2V模型后,当前Vidu2、Luma Ray2是很多创作者的首选。

这个视频出自我非常欣赏的 Animate 类 AI 视频博主 yachimat - AI Short Anime,以花样滑冰为背景,讲述了天才选手 suketo 与一位聋哑少女克服偏见与嫉妒、通过音乐实现心灵共鸣的故事。视频采用 Luma 最新的 Ray2 模型,在复杂运动、影子处理和头发动态表现等高难度场景上取得了突破,展示了 AI 视频模型在平面风格运动表现上的全新可能。发布后迅速吸引了 7 万浏览量。

GenLumio还另外收录了几个使用Ray2模型制作的优秀Animate作品,感兴趣的朋友可访问网站观看:https://genlumio.framer.website/ 


三.补充了解

这期播客访谈了Luma AI唯一的产品经理,可以了解到在这样技术驱动的团队,产品经理的职能角色和传统互联网行业的差异: 

https://www.xiaoyuzhoufm.com/episode/67bbc5b105a90dfd0d62ff9f


其他AI视频相关文章:

AI视频爆发式更新|近半年值得关注的13个闭源产品动向

AI视频生成(下)| 20个产品推荐及实践教学

AI视频生成 (中)| 20个产品推荐及实践教学

 


阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

AI视频 Pika Wan 2.1 Luma Veo2
相关文章