Adobe 创新视频配音技术；IC-Light V2-Vary 更强烈照明变化体验；ConsisID 开源角色一致性文生视频模型

原创小茸茸 2024-11-29 09:38 重庆

Adobe 发布 MultiFoley：创新视频配音技术；IC-Light V2-Vary：更强烈的照明变化体验；ConsisID：开源的角色一致性文生视频模型

MultiFoley^[1] 是 Adobe 发布的一项专为视频配音的技术，支持通过文本、音频和视频进行多模态引导。

用户可以利用 MultiFoley 为无声视频添加声音，甚至创造出奇特的效果，例如让猫咪发出狮子的咆哮声。该模型还允许用户从音效库中选择参考音频或部分视频进行条件控制，从演示来看，效果非常出色。不过，目前仅提供了论文，似乎不会开源。

IC-Light V2-Vary^[2] 模型是 IC-Light V2^[3] 的平替版本，特别适用于需要更强烈照明变化的应用场景。虽然它在照明效果上更为强烈且变化多样，但细节处理上略逊于原版。你们可以在线试用一下 IC-Light V2-Vary^[4]

ConsisID^[5] 是一个用于生成角色一致性视频的文生视频模型（IPT2V）。通过参考角色图片，该模型能够生成身份一致的视频。这个模型现已完全开源，包括数据集，并且提供了一个在线试用^[6]，你们可以玩玩看。

❝
今天老规矩周五浅浅开一下赞赏征收下稿费哈！如果你喜欢《一觉醒来 AI 界发生了什么》系列的话，请关注、点赞、在看、收藏、分享、打赏 六连警告，这对我真的很重要！

Reference

[1]

MultiFoley 技术官网: https://ificl.github.io/MultiFoley/

[2]

IC-Light V2-Vary 讨论: https://github.com/lllyasviel/IC-Light/discussions/109

[3]

IC-Light V2 往期介绍: https://sanhua.himrr.com/news/79151b05-0b83-43bc-ad7d-36b1bc53c8f0

[4]

IC-Light V2-Vary 在线试用: https://huggingface.co/spaces/lllyasviel/iclight-v2-vary

[5]

ConsisID 项目主页: https://pku-yuangroup.github.io/ConsisID/

[6]

ConsisID 在线试用: https://huggingface.co/spaces/BestWishYsh/ConsisID-preview-Space

Fish AI Reader