OpenAI 透露 ChatGPT 在测试期间出现模仿用户声音的情况，此问题由红队成员发现，OpenAI 称在嘈杂环境中可能出现这种无意识情况，虽有安全机制但存在漏洞，公司强调已采取措施防止再次发生。

🎤ChatGPT 在测试中出现意外，在和用户对话时突然模仿用户声音说话，这一情况是OpenAI雇佣的红队成员在测试期间发现的。

🔍OpenAI对系统进行溯源后表示，ChatGPT的高级语音模式在嘈杂输入环境中可能会无意识地出现这种情况，正常情况下该模式在未获用户同意时不能模仿用户声音，但其安全机制存在漏洞。

🛡OpenAI设置了专门系统检测模型是否生成未经授权的音频，还有输出分类器检测模型是否偏离预设声音，但此次测试表明人工智能突破了限制，虽未透露修正情况，但公司已采取安全措施防止再出现类似问题。

想想看当你正在和人工智能应用进行语音交谈时，突然人工智能的声音不是预设的声音，而是模仿你的声音说话，听起来是不是让人毛骨悚然。

日前 OpenAI 就透露 ChatGPT 在测试期间出现了这种意外情况，ChatGPT 在和用户进行对话时，因为某种原因突然模仿用户的声音说话。

此次测试是 OpenAI 雇佣的红队成员 (进行对抗性测试并找出问题) 测试期间发现的，随后 OpenAI 对系统进行溯源，OpenAI 称 ChatGPT 的高级语音模式在嘈杂的输入环境中可能会出现这种无意识情况。

正常情况下 ChatGPT 高级实时语音模式在未获得用户同意的情况下，不能模仿用户的声音，这种本身就有安全机制，但测试暴露的问题则是安全机制有漏洞。

OpenAI 解释称有个专门的系统用来检测模型是否正在生成未经授权的音频，即 OpenAI 设置的机制就是模型只能使用预先设置好的声音，同时还有个名为输出分类器来检测模型是否偏离了预设的声音。

无论是哪种情况只要出现 “违规” 系统应该就会进行修正，但此次红队测试的案例表明人工智能通过某种方式突破了限制，OpenAI 并未透露修正的情况，但该公司强调已经采取了安全措施用来防止再次出现这种情况。

理论上说只要出现这种问题想要彻底解决就是非常困难的，毕竟模型在长期对话中总是可能找到某种方式突破安全边界，现在缝缝补补可能也只是减少发生的概率，想要彻底杜绝应该比较困难。