IT之家 前天 17:03
腾讯开源混元语音数字人模型:一张图一段音频就能让图中人物说话唱歌
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

腾讯混元公众号宣布开源混元语音数字人模型HunyuanVideo-Avatar,该模型由腾讯混元视频大模型和腾讯音乐天琴实验室MuseV技术联合研发。用户只需上传一张人物图像和一段音频,模型就能理解图片和音频信息,让图中的人物自然地说话或唱歌,并生成包含自然表情、唇形同步及全身动作的视频。该模型支持头肩、半身与全身景别,以及多风格、多物种与双人场景,适用于短视频创作、电商与广告等多种应用场景,旨在降低视频制作成本。目前,单主体能力已在腾讯混元官网上线,用户可体验上传14秒音频生成视频。

🎙️腾讯开源HunyuanVideo-Avatar模型,结合腾讯混元视频大模型和腾讯音乐天琴实验室MuseV技术,实现语音驱动数字人。

🖼️用户仅需提供一张人物图像和一段音频,模型即可自动理解人物环境和音频情感,生成自然说话或唱歌的视频。

🎬HunyuanVideo-Avatar支持多种景别(头肩、半身、全身)、风格、物种及双人场景,应用广泛,包括短视频创作、电商广告等。

💰该模型旨在降低视频制作成本,通过快速生成人物在不同场景下的说话、对话、表演等片段,简化产品介绍视频和互动广告的制作流程。

IT 之家 5 月 28 日消息,腾讯混元公众号今日发文宣布开源混元语音数字人模型,仅需一张图和一段音频,就能让图中的主角自然地说话、唱歌。

此次发布的并开源的语音数字人模型 HunyuanVideo-Avatar,由腾讯混元视频大模型(HunyuanVideo)及腾讯音乐天琴实验室 MuseV 技术联合研发,支持头肩、半身与全身景别,以及多风格、多物种与双人场景,面向视频创作者提供高一致性、高动态性的视频生成能力。

用户可上传人物图像与音频,HunyuanVideo-Avatar 模型会自动理解图片与音频,比如人物所在环境、音频所蕴含的情感等,让图中人物自然地说话或唱歌,生成包含自然表情、唇形同步及全身动作的视频。

HunyuanVideo-Avatar 适用于短视频创作、电商与广告等多种应用场景,可以生成人物在不同场景下的说话、对话、表演等片段,快速制作产品介绍视频或多人互动广告,降低制作成本。

HunyuanVideo-Avatar 的单主体能力已经开源,并在腾讯混元官网上线,用户可以在“模型广场-混元生视频-数字人-语音驱动-HunyuanVideo-Avatar”中体验,目前支持上传不超过 14 秒的音频进行视频生成,后续将逐步上线和开源其他能力。

IT 之家附有关链接如下:

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

腾讯混元 语音数字人 开源模型 AI视频 HunyuanVideo-Avatar
相关文章