三花AI 07月08日 14:11
阿里开源 OmniAvatar:音频驱动数字人模型;开源对话式图像编辑器 EasyEdit;DAM 模型:为图像局部生成详细描述
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

阿里开源了音频驱动数字人模型OmniAvatar,用户可通过上传图片、音频和脚本生成口型精准匹配、带自然动作和表情的口播视频,但需至少36G显存。同时,开源了对话式图像编辑器EasyEdit,支持自然对话智能修改图片。NVIDIA发布了DAM模型,能通过点击、框选等方式为图像局部生成详细描述,提供在线体验。

🗣 OmniAvatar是基于Wan 2.1的音频驱动数字人模型,用户上传图片、音频和脚本即可生成嘴型精准匹配、带自然动作和表情的口播视频,推荐单次生成30秒视频片段,但至少需要36G显存运行。

🖼 EasyEdit是基于Flux KContext模型的开源图像编辑器,通过自然对话即可智能修改图片,网页端可使用Flux KContext Dev基础模型,Pro高级模型需提供APIKey。

🎯 DAM是NVIDIA推出的多模态大语言模型,能通过点击、框选、涂鸦或遮罩等方式为图像或视频中的特定区域生成详细描述,官方提供在线体验demo。

原创 小茸茸 2025-07-03 09:43 重庆

阿里开源 OmniAvatar:音频驱动数字人模型;开源对话式图像编辑器 EasyEdit;NVIDIA 发布 DAM 模型:为图像局部生成详细描述

阿里开源 OmniAvatar:音频驱动数字人模型

OmniAvatar[1] 是阿里开源的一款基于 Wan 2.1 的音频驱动数字人模型。用户只需上传图片、音频和脚本,即可生成嘴型精准匹配、带有自然动作和表情的口播视频。

不过要注意的是,这个模型至少需要 36G 显存才能运行。

官方推荐单次生成 30 秒左右的视频片段,这样能达到最佳效果。从目前已有的开源数字人模型来看,OmniAvatar 的表现算是相当出色了。

OmniAvatar 官网: https://omni-avatar.github.io/

开源对话式图像编辑器 EasyEdit

EasyEdit[2] 是一款基于 Flux KContext 模型的开源图像编辑器,通过自然对话即可智能修改图片。

佬们可以直接在网页端免登录使用 Flux KContext Dev 基础模型,而 Pro 高级模型则需要提供 APIKey 能用。

EasyEdit 官网: https://www.easyedit.io/

NVIDIA 发布 DAM 模型:为图像局部生成详细描述

NVIDIA 推出的 Describe Anything Model (DAM)[3] 是一款多模态大语言模型,它能够为图像或视频中的特定区域生成详细描述,支持通过点击、框选、涂鸦或遮罩等多种交互方式指定目标区域。

目前官方提供了在线体验 demo[4](虽然有点卡卡的),实际效果还可以。

DAM项目官网: https://describe-anything.github.io/DAM在线演示空间: https://huggingface.co/spaces/nvidia/describe-anything-model-demo


如果你喜欢《一觉醒来 AI 界发生了什么》系列的话,请 关注点赞在看收藏分享 五连警告,这对我真的很重要

阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

OmniAvatar EasyEdit DAM模型 音频驱动数字人 对话式图像编辑
相关文章