原创 发现明日产品的 2024-11-09 11:59 广东
AI「换脸」技术又进化了。
近日，字节跳动和清华大学在 GitHub 上联合推出了一款最新的人像动画技术「X-Portrait 2」。
具体来讲，X-Portrait 2 是一款「生成式人像转移模型」，其使用方法非常直观和简单：用户只需要提供一张静态肖像图和一段含有表情变化的「表演」视频，这个技术就能一键将表情「迁移」至肖像上面，从而使前者也「动起来」。
就像下面这样：
可以看到，左下角是「静态肖像」，右下角则是「表演视频」，而 X-Portrait 2 的功能就是让左边的角色做出同右边人物几乎一模一样的表情。
除了「表情」以外，就连「神态」也几乎是像素级复刻：
眉眼和笑容之中所包含的「狡黠」和「顽皮」，全部都精准地呈现出来了。
头部扭动幅度较大的情况下，X-Portrait 2 也完全可以胜任，表情也并未失真：
一个比较「务实」的使用场景，是它可以用来「对口型」，有时可以配合后期修改台词的需要：
不仅复刻精准，并且也足够流畅自然。发布者也因此将其称为「极具表现力的肖像动画」。
显然，这个模型能够实现跨风格和跨领域的表情转移，覆盖写实肖像和卡通图像；并且适应性较强，能够用于包括现实世界的故事讲述、动画角色的呈现、虚拟代理以及其他视觉效果。
在电影或者动画的后期特效制作方面，X-Portrait 2 无疑大大简化了现有的动作捕捉、角色动画和内容创作流程。
相较于其原型 X-Portrait，X-Portrait 2 的升级和创新谓之「进化」都不为过。
X-Portrait 2 采用了一个更先进的表情编码器，这个编码器在大规模数据集上进行训练，其能够更精确地捕捉和再现人物的微妙表情，包括嘟嘴、鼓腮和皱眉等细节，还原了表情的复杂性，并提升了其真实感。
同时，X-Portrait 2 实现了外观和动作的有效分离，这意味着在迁移表情时，原始图像的外观特征得以保留，表情变化不会影响人物的基本面貌，提高了动画的自然程度和一致性。
值得一提的是，X-Portrait 2 还创新地引入了生成式扩散模型，这种模型能够处理不同视角下的表情变化，生成更加流畅和真实的动画效果，解决了传统方法在视角变化时可能出现的表情不协调问题。
此外，X-Portrait 2 还增强了跨领域的表情迁移能力以及动画的真实感和动态表现力。
和早先发布的同类竞品——Runway 的 Act-One 相比，X-Portrait 2 也毫不逊色。同样是「Nice 老爷爷」的喜感表情，Act-One 的生成效果是这样的：
图源：虎嗅
似乎只做到了「迁移」，并且表情的夸张程度衰减明显，还略微有点僵硬。如果遮住原视频，可能根本看不出来这是在模仿谁。
同一个表情，以下是 X-Portrait 2 的生成效果：
除了表情的复刻更加精准细腻以外，我们似乎还能感受到那种自然流露的「喜感」。这才是 X-Portrait 2 的厉害之处。
对于 X-Portrait 2 的优势，开发者是这样说的：
尽管如此，Ai-Da 的人形、思想甚至智慧这些和人类无限接近的要素，难免使得这一议题更加复杂化。她曾在英国上议会议院发言时语出惊人：
与 X-Portrait 和最近发布的 Runway Act-One 等最先进的方法相比，我们的模型可以忠实地传递快速的头部运动、微小的表情变化和强烈的个人情感。这些方面对于高质量动画内容创作（例如动画和电影制作中的内容）至关重要。
来看一个更加直观的对比：
显而易见，同初代 X-Portrait 相比，X-Portrait 2 的进步在于更加「自然流畅」；而同 Act-One 相比，X-Portrait 2 则更加「精准细腻」。
无论如何，X-Portrait 2 的推出继续发扬了「用生成式 AI 代替动捕」这个可能的概念，并且使它更加成熟，距离落地商用又近了一步。
文｜范津瑞
