原创 BayJ 2025-03-10 20:00 广东
自24年H2开始,AI视频行业以周为单位高速发展,我计划通过这个系列的文章选取新鲜产品动向、优质作品案例为大家介绍。
自24年H2开始,AI视频行业以周为单位高速发展,GenLumio是我从24年开始规划 - 设计 - 开发的AI视频项目,旨在为大家带来每周最新鲜的AI视频优秀作品、产品动向。
我计划通过这个系列的文章选取新鲜产品动向、优质作品案例为大家介绍。
更多案例欢迎访问我的网站:https://genlumio.framer.website/
一.AI视频模型 & 产品主要更新
Pika
近几个月Pika 动作颇多,在发布了主体物参考、主体物替换、给视频中添加元素、情人节模板等多个火爆功能后,Pika模型也进入2.2时代。
当前生成分辨率升级至 1080p,支持生成 10s 长视频,并成为行业内第一个支持10s 首尾帧功能的模型。
来自 Matt Menendez 的测评案例
目前支持1080p分辨率的有Luma Ray2和Pika 2.2、Pixverse模型;
目前支持首尾帧的产品有Pika 2.2、Runway、Luma、Kling、Vidu。
Wan 2.1 最强开源模型
阿里Wan 2.1 开源模型,支持 720p 、480p视频生成。但Wan模型对硬件要求极高,自行部署运行时间非常久。经过我的测试,可以说是当下最好的开源模型没有之一。非常感人的是,Wan对于动漫平面风格的支持也很好,开源视频整体迭代较慢,期待今后有又好又快的模型出现。
这里我用Wan 2.1和Luma 最新模型Ray2测试了几个案例做对比,可以看到Wan 2.1有着完全不输闭源模型的能力:视频中展示的片段几乎没有抽卡:
第二段油画花朵绽放的效果对语义理解到位,Luma呈现的效果不佳;但第三段Luma准确理解慢动作镜头的指令而Wan 没有理解。
大家如果想体验Wan的话可以考虑选择一些云端All in one平台,可以避免自己本地部署开源模型的麻烦,生成速度也更快。这里给大家推荐一款华人团队的产品Pollo,集成了最新的AI视频、图像生成工具。套餐支持梯度定价,可选择性非常高。
访问地址:https://pollo.ai?ref=yti3mjk
一个账号可以同时使用市面上11款热门视频模型,还是挺香的
Luma
Luma 在发布了惊艳的Ray2模型后,更新了视频匹配声音、首尾帧、循环动画、延长时间等功能。
同时推出了新型号Ray2 Flash,比Ray2 速度快 3 倍、价格便宜 3 倍。
Pixverse
Pixverse 上线4.0,其中一个3D效果的视频模板很有意思。自毒液特效、肌肉特效等爆火后,Pixverse和Pika尝到了甜头,都在视频特效道路上不断尝试。
同时上周Pixverse宣布月活突破1500万,注册用户达4000万。
Runway
从去年下半年开始Runway模型层面沉寂了比较久的时间,最近比较大的更新是增加了首帧风格化能力,通过给模型输入一张风格化图片,可以实现视频整体风格转换。
这个案例出自Ror_Fly,初始视频通过VEO2 I2V生成,然后通过Premiere进行像素化 + FPS 降低,通过Magnific的结构参考图像进行了首帧风格化,最终用Runway实现视频风格化。
二.最新优秀案例
T2V短片 - 汗青
Veo2 是Google发布的T2V视频模型,目前在T2V方向上拥有独一档的效果,近期能看到越来越多使用Veo2 T2V完成的作品。以下作品来自国内知名博主汗青工作室
数字人歌手MV - 汗青
同样来自汗青工作室的作品,他们内测了本月将在即梦上线的 对口型模型OmniHuman-1。该模型主要有以下特点:角度包容性高,此前的工具无法支持90度纯侧面;
·精细还原口型细节 ,放大后连嘴周围皮肤和牙齿都清晰可见
·能够直接识别歌词并精准对口,同时情绪饱满
·支持多人同唱
·即便人物嘴部较小或存在遮挡,也能自然呈现
Animate短篇 - yachimat
最近身边很多朋友问我Kling是不是当前最好的视频模型,其实在动画领域Kling并不惊艳,即Hailuo发布针对动漫场景训练过的I2V模型后,当前Vidu2、Luma Ray2是很多创作者的首选。
这个视频出自我非常欣赏的 Animate 类 AI 视频博主 yachimat - AI Short Anime,以花样滑冰为背景,讲述了天才选手 suketo 与一位聋哑少女克服偏见与嫉妒、通过音乐实现心灵共鸣的故事。视频采用 Luma 最新的 Ray2 模型,在复杂运动、影子处理和头发动态表现等高难度场景上取得了突破,展示了 AI 视频模型在平面风格运动表现上的全新可能。发布后迅速吸引了 7 万浏览量。
GenLumio还另外收录了几个使用Ray2模型制作的优秀Animate作品,感兴趣的朋友可访问网站观看:https://genlumio.framer.website/
三.补充了解
这期播客访谈了Luma AI唯一的产品经理,可以了解到在这样技术驱动的团队,产品经理的职能角色和传统互联网行业的差异:
https://www.xiaoyuzhoufm.com/episode/67bbc5b105a90dfd0d62ff9f
其他AI视频相关文章: