掘金 人工智能 07月04日 19:49
阿里开源 OmniAvatar:音频驱动数字人模型
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

文章介绍了阿里开源的OmniAvatar数字人模型和EasyEdit图像编辑器,以及NVIDIA发布的DAM模型。OmniAvatar通过音频驱动生成数字人视频,EasyEdit则通过自然对话修改图像,DAM模型则能为图像局部生成详细描述。这些工具都为用户提供了新的创作和编辑图像的方式。

🗣️OmniAvatar是一款由阿里开源的数字人模型,基于Wan 2.1。用户只需上传图片、音频和脚本,即可生成嘴型精准匹配、带有自然动作和表情的口播视频。该模型运行需要至少36G显存,官方推荐单次生成30秒左右的视频片段。

🖼️EasyEdit是一款基于Flux KContext模型的开源图像编辑器,允许用户通过自然对话智能修改图片。用户可以在网页端免登录使用Flux KContext Dev基础模型,而Pro高级模型则需要提供APIKey。

🖱️NVIDIA发布的Describe Anything Model (DAM)是一款多模态大语言模型,能够为图像或视频中的特定区域生成详细描述。用户可以通过点击、框选、涂鸦或遮罩等多种交互方式指定目标区域。目前官方提供了在线体验demo。

阿里开源 OmniAvatar:音频驱动数字人模型

OmniAvatar[1] 是阿里开源的一款基于 Wan 2.1 的音频驱动数字人模型。用户只需上传图片、音频和脚本,即可生成嘴型精准匹配、带有自然动作和表情的口播视频。

不过要注意的是,这个模型至少需要 36G 显存才能运行。

官方推荐单次生成 30 秒左右的视频片段,这样能达到最佳效果。从目前已有的开源数字人模型来看,OmniAvatar 的表现算是相当出色了。

开源对话式图像编辑器 EasyEdit

EasyEdit[2] 是一款基于 Flux KContext 模型的开源图像编辑器,通过自然对话即可智能修改图片。

佬们可以直接在网页端免登录使用 Flux KContext Dev 基础模型,而 Pro 高级模型则需要提供 APIKey 能用。

NVIDIA 发布 DAM 模型:为图像局部生成详细描述

NVIDIA 推出的 Describe Anything Model (DAM)[3] 是一款多模态大语言模型,它能够为图像或视频中的特定区域生成详细描述,支持通过点击、框选、涂鸦或遮罩等多种交互方式指定目标区域。

目前官方提供了在线体验 demo[4](虽然有点卡卡的),实际效果还可以。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

OmniAvatar EasyEdit DAM模型 数字人 图像编辑
相关文章