原创 BayJ 2025-04-22 20:04 广东
自24年H2开始,AI视频行业以周为单位高速发展,GenLumio是我从24年开始0-1规划-设计-开发的AI
自24年H2开始,AI视频行业以周为单位高速发展,GenLumio是我从24年开始0-1规划-设计-开发的AI视频项目,旨在为大家带来每周最新鲜的AI视频优秀作品、产品动向。
我计划通过这个系列的文章选取新鲜产品动向、优质作品案例为大家介绍。
更多案例欢迎访问我的网站:https://genlumio.framer.website/
一.AI视频模型 & 产品主要更新
Runway Gen-4
沉寂了大半年差点被大家忘记的Runway终于发布了新模型Gen-4,看了很多国外博主测评在处理复杂动作和镜头超过了Kling 1.6。除了电影镜头、写实风格外,这次Gen-4也注重了动漫风格的支持,此外前阵子推出的首帧风格化也获得了不错的传播效果。
无限量套餐是Runway目前最受欢迎的套餐,24日之前,新用户有8折开通优惠。
Runway首席执行官Cristóbal Valenzuela的作品体现了Gen-4在相机围绕物体和位置连续移动的能力,配合着唯美音乐让人感受到镜头叙事的魅力,这里放了2个案例,更多视频可以访问 GenLumio 筛选Tools - Runway查看。
Kling 2.0
就当我以为这俩月国产AI视频要集体哑火时,Kling发布了最新模型,功能上对Pika labs进行了全面致敬。
看官方联动博主发布的效果非常好,2.0非常擅长表现大幅度运动和镜头切换的画面,但同时大幅度运动模糊、瑕疵多缺点也更容易暴露,这可能会带来抽卡次数的提升。
2.0目前的定价非常贵,58块钱的月费会员只能抽6次卡,还不如冲Runway的Gen-4试试,对大部分初级玩家太不友好。受限于价格,这次没有获得广泛的创作者测试和传播。
这里是创作者Alex Patrascu对Gen-4、Kling2.0、Veo 2的测试结果,这三个模型各有特色:
Vidu Q1
Vidu刚发布了Q系列模型,默认支持1080P,时长升至5s,画质细节提升,支持首尾帧、音效叠加、升级动漫风格效果,新用户有3次免费使用机会。
Pika玩法更新
Pika这个月动作不断,模型能力比不了只能靠花活来维持声量了,只要不下牌桌就还有希望。首尾帧视频从10s升级至25s(业内唯一一个),即Pikadditions又接连推出Pikaswaps、 Pika Twists功能,Pikaffects也更新了不少模版,创作者们基于此开发了很多有趣的视频。
此前在文章中介绍过首尾帧的玩法,通常可以用于连贯的镜头转换,延时摄影、植物动物生长等,下方视频中的换装效果也很不错。
Pika Twists 可以通过文本改变视频中的一部分内容,并保持其余部分不变。
Pikaswaps 通过上传原视频和一张元素图片的方式,替换掉视频中的任意内容,可以用来换装、换发色。
Pikadditions 通过上传原视频和一张元素图片的方式,将元素添加到整个视频中。
Luma
Luma近期在Ray2模型上发力了Motion、Angle功能,增加的高速机械臂镜头、全景相机和空中无人机视角挺有意思。
案例来自Christopher Fryant
高速机械臂镜头案例 by Rory Flynn
海外作者很多都使用Luma创作动漫风格,Luma目前单个视频0.5刀,对比物美价廉的国产替代还是很难下得去手。
介绍完了老牌产品更新,来看看新产品的动向吧,说实话AI视频生成这么卷的赛道还有新产品出来着实想不到。
Higgsfield AI
Higgsfield AI 的联合创始人兼 CEO Alex Mashrabov 曾是 Snap 的生成式 AI 负责人,领导开发了 Snapchat 的 AR 滤镜、Cameos 功能以及 MyAI 聊天机器人等产品。他与联合创始人 Yerzat Dulat(生成式视频领域的 AI 研究员)共同创立了 Higgsfield AI。
该产品的特点是提供了超过 50 种预设镜头动作,如“子弹时间”、“超级推拉镜头”等,增强视频的电影感,使用时支持混合多个镜头效果。访问地址:https://higgsfield.ai/
Magicanimator
Lottielab 是一家初创公司,24年底推出了Web 编辑器支持设计师能够轻松创建、编辑和导出 Lottie 动画。近期他们加入了AI视频的战场,首发 demo 是一段以苹果 UI 组件为灵感生成的流畅过渡动画,同时支持logo、icon、社交媒体帖子动画生成。现在该产品开放预约了,申请地址: https://magicanimator.com/
在其他AI视频产品在卷专业电影创作、社交媒体玩梗方向时,聚焦设计这个垂直行业,也是个不错的选择。
二.最新优秀案例
创意转绘
非常喜欢的一位创作者enigmatic_e又整了新活,不过这次的工作流和此前差不太多,使用了Viggle、AnimateDiff转绘实现的效果,这里是他的详细制作过程:
makeitrad的这个AI转绘项目非常厉害,整个作品工作流非常完整且富有创意。
视频中的基础角色由前期手绘完成,然后通过训练风格Lora进行更多视频素材的生成;街道中的建筑使用AI生图,图生3D模型并在3D软件中搭建出来;而动态部分则通过人工绘制关键帧动画,使用ComfyUI中的风格参考转绘动画。视频中分享了完整的创作思路,看完只能说一句,太强了!
以上这两个案例都是需要一些3D基础才能完成的,那如果不会建模,也不太会使用3D软件怎么办?博主Ray (movie arc) 的帖子给我提供了另一条思路,通过MJ生图 - 3D产品生成粗糙模型,装配预设动作,最后通过three.js 加载预览。
创意广告片
来自Rufus Blackwell团队的真实商业广告作品,融合了AI视频生成和部分实拍,AI为团队节约了大量特效时间。
动漫风格
动漫风格的优秀作品越来越多了。上一期介绍过Veo2是我看到过最棒的T2V产品,现在也支持了I2V,但目前还在测试期没有对大众开放。有消息说会在5月正式发布,每天看到海外创作者的测评都心痒痒。
最近RŌHKI团队花费了数月制作的这个单集作品质量非常高,全集使用Runway、Luma 和Veo2制作,音乐也是精心制作过的。
视频中多处使用了Veo2制作了高质量镜头,对人物的一致性和提示词的遵循能力达到了完全不同的高度。
作者分享了一些Veo2提示词例如:
“走到镜头前,用红色记号笔涂鸦写上‘ROHKI’,另外作者提到“cool quick sketchy VFX camera cuts” and “multiple abstract camera angles”也会出现惊喜效果
最近我使用Google的Whisk和MJ V7进行了生图测试,就发现Google家的产品对提示词的理解能力极强,即使是输入超长文本也能在画面上反馈所有提到的细节。这一点上MJ完全不是对手,我对Veo2的开放使用已经迫不及待了。
海外创作者使用Luma Ray2 和Vidu在动漫创作上的案例不断增加,其中Vidu的图片参考功能被创作者们用来做角色参考和攻法(角色对应的技能)参考。
案例来自ai_ani_alchemist
创作者Bird / AI art and Music 用Luma生成的两个片段,太帅了,第二个视频应该是用了延长。
三.近期AI视频产品调研结论
GenLumio网站的新内容正在设计中,新功能是面向主流AI视频产品的参数对比,近期我也开始了新一轮模型的集中测评,记录下最近一段时间的结论:
Hailuo、Vidu目前仍为用户提供每日积分,如果有少量使用需求的同学可以选用。
我在Hailuo海外版本注册了新账号,获得了1000积分(但是限制3天内用完)。整体感受Hailuo半年前的I2V live 模型确实对于动漫风格微动画支持不错,但Luma 和Vidu也是强有力的竞争者。另外Hailuo对于主体物和环境之间的交互、细节的一致性遵循的不太好,还没有达到Wan 2.1给我留下的印象。目前Hailuo模型在整个市场上除了价格,并不具备优势,只能等新模型发布了。
Vidu是当下所有产品中生成速度最快的。另外Vidu对动漫、写实风格的支持都非常稳定,是一款不怎么出错的模型。单视频价格在一种国产产品中也具备绝对优势。
研究了Pika2.0、2.2和Kling1.5、1.6的生成积分消耗规则,发现旧模型消耗的积分比新模型更低,这和Pixverse是相反的,这可能和模型的升级、定价策略有关系。