原创 海辛 2024-06-05 21:10 上海
这次去 ComfyUI Leadership Summit 艺术分论坛分享了自己的 AI 动画经验，是我很长一
这次去 ComfyUI Leadership Summit 艺术分论坛分享了自己的 AI 动画经验，是我很长一段时间关于 AI 艺术创作的思考了，决定也发在公众号上。
目前 AI 动画主要有两种路径，一种是视频转绘（Video to Video）：在原有视频的基础上进行风格转移，生产新的视频，比如下面这个奶牛猫跳舞的转绘视频，Morph Studio 正在测试的风格转绘功能。
这个工作流其实很像传统电影/动画制作的思路：我们先有草稿，再完善为成稿；先有了分镜动画，再逐步完善为成片。迪士尼的《美女与野兽》和今 敏的《千年女优》都是先请真人演员拍摄了大量参考素材，再由动画师来进行绘制。
另一种是图生视频（Img to Video）：用 AI 生成一系列图片素材后，通过图生视频的方式，生成大量的视频素材，再将视频进行剪辑，比如下面这个食品广告就是我通过 Morph Studio 生成视频素材后剪辑的。
这两种模式基本是目前由 AI 制作动画的主流，在 4 月的时候，AnimateDiff 社区出了一个新的工作流：IPIV's Morph. 这个工作流的特点是根据提供的几张关键帧，形成关键帧之间的补帧动画。
阿文在这个工作流的基础上进行了优化，从而做了一些动态肖像画。这里是他的分享：
https://civitai.com/articles/5145/animatelcm
我觉得只是做动态肖像化有些没意思（X）从一张脸变成另一张脸，好像还不够发挥 AI 本身的想象力。比如，我可不可以从一朵蒲公英，逐渐变成一张人脸呢？
或者从扑克牌的梅花变出一个人呢？
我做了一系列尝试，逐渐可以稳定地做出非常丝滑的 AI 动画。在这个过程中，我总结出 Diffusion 模型的一些特点：
一、当关键帧之间有视觉联系的时候，会形成更丝滑的动画。
上面的这个例子里，我用了如下 4 个关键帧，这 4 个关键帧是这样思考的：图 1 是一朵雏菊；图 2 的风车和雏菊都是放射的形状，所以可以做形似，由于风车是动态的，所以会给画面带来转起来的动画；图 3 是雏菊移开后的人物肖像；图 4 最后定格在角色面部。
二、当关键帧之间有意象、主题的相关性时，会形成更丝滑的动画。
上面的这个例子中，我用了如下 4 个关键帧，这 4 个关键帧是这样思考的：黑桃、罗盘、月相图、黑猫是一组神秘学意象。我的猜测是：他们在过去的艺术作品中经常一起出现，所以在潜空间中有较近的距离，故在给定的关键帧内，能形成丝滑的动画。
那么又有视觉相关性、又有意象相关性，自然可以生成非常丝滑的动画效果，比如石头、蛇、美杜莎这个动画：
这让我感觉到 Diffusion 模型本身像是艺术家的集体潜意识一样，在高纬的 Latent Space 中蕴含了大量不同符号和意象之间的关联，这种跳转动画本身像是 AI 动画中的诗歌。
基于以上的创作，我决定接下来也在这个方向上进行探索，我大致定了三个作品计划：
1. 希腊神话故事
希腊神话具有强烈的符号性，感觉配上讲故事的音频的话会特别合适。可能也会在制作过程中更加理解希腊故事。
2. 马蒂斯风格 MV
这是我和阿文的共同项目，用马蒂斯的美术风格，做一个 MV 动画，目前其实视觉已经设计好了，也有了初版动画，应该在 7 月内会和大家见面。
以上两个方向都还是我比较舒适区以内的计划，接下来是我认为可能带了一些学术研究性质的方向，我称这个方向为：
两个截然不同的概念，在高纬潜空间有多远呢？如果我将两个完全不想干的概念“圣经”和“香蕉”放在一起会怎么样？
我试了试将初始帧设置为圣经，终止帧设置为香蕉，只给 AI 60 帧的时间发生形变，这是其生成的动画：
可以看出这个动画很扭曲牵强。
那如果我给 AI 更长的时间在潜空间里 travel，是否能生成更合理的视觉呢？这是我给 AI 80 帧的时间，其生成的动画：
由此，我们可以初步得出结论：圣经到香蕉间的距离是 80 帧。
这个实验让我形成了一个假说：
在我前面的作品案例中，从雏菊、风车、花群到女孩，一共花了 100 帧，形成了很丝滑的动画效果；但如果拿掉风车和花群中间两个关键帧，直接让一头一尾生成补帧动画，在 100 帧内无法产生任何丝滑的符合视觉逻辑的动画效果。
所以在高纬空间里，两个点之间符合视觉逻辑的最短路径，并不是直线，或者是两个向量相减。中间需要借由其他的概念/关键帧来进行跳转。我想要去寻找这些概念间的传送门之间是什么关系。
Diffusion 模型还潜藏着非常大的宝藏尚未被挖掘，无论是从创作的角度还是学术的角度。这也让我感觉到了，我好像找到了自己非常想要去挖掘和探索的艺术创作方向。
关注我，一起在潜空间旅游！（X）
感谢你的阅读，祝你端午节快乐！
