IT之家 2024年08月09日
字节豆包大模型已支持实时语音通话
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

字节跳动旗下火山引擎推出对话式AI实时交互解决方案,整合多种模型,实现语音数据处理和实时语音通话,支持快速搭建,具有多项亮点。

🎤 该方案通过火山引擎RTC采集、处理和传输语音数据,深度整合语音识别和合成模型,简化语音与文本转换过程,提供智能对话和自然语言处理能力。

💻 对话式AI实时交互解决方案支持开箱即用快速搭建,调用标准OpenAPI接口可配置所需的语音识别、大语音模型、语音合成类型和参数。

✨ 该技术有三大亮点:支持随时打断插话;响应延时低至1s;客户端提供音频帧级别的语音活动性检测,可检测说话和静默状态。

IT 之家 8 月 9 日消息,字节跳动旗下火山引擎今日宣布推出对话式 AI 实时交互解决方案,搭载火山方舟大模型服务平台。

该方案通过火山引擎 RTC 实现语音数据的采集、处理和传输,并深度整合豆包・语音识别模型和豆包・语音合成模型,简化语音到文本和文本到语音的转换过程,提供智能对话和自然语言处理能力,帮助应用实现用户和云端大模型的实时语音通话。

▲ 对话式 AI 实时交互服务方案架构

字节跳动介绍称,对话式 AI 实时交互解决方案支持开箱即用快速搭建,只需调用标准的 OpenAPI 接口即可配置所需的语音识别(ASR)、大语音模型(LLM)、语音合成(TTS)类型和参数。而火山引擎 AIGC RTC-Server 负责边缘用户接入、云端资源调度、文本与语音转换处理以及数据订阅传输等环节。

该技术拥有三大亮点:

IT 之家附火山引擎对话式 AI 实时交互 Demo 如下:

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

字节跳动 对话式AI 实时交互 火山引擎
相关文章