美联社近日的最新报道揭露了一个关于OpenAI的语音转写工具Whisper的重大缺陷。
据超过十位软件工程师、开发人员和学术研究人员透露,Whisper有时会生成大量虚假内容,这些内容被称为“AI幻觉”。这些幻觉内容可能包含种族歧视言论、暴力语言,甚至不实医疗建议。
Whispers的广泛应用和潜在风险
Whisper工具已被广泛应用于全球多个行业,包括翻译、访谈内容转录、生成消费科技文本和视频字幕制作等。这种广泛的应用使得Whisper的“幻觉”问题变得更加严重,因为它可能会在不经意间传播错误信息。
尤其是对于医疗机构来说,这一问题更为棘手。尽管OpenAI已经提醒用户不应在“高风险领域”使用Whisper,但一些医疗机构仍在急于采用基于Whisper的工具来记录医生与患者的咨询记录。
幻觉现象的普遍性
研究人员和工程师在工作中发现,Whisper的幻觉现象相当普遍。例如,密歇根大学的一位研究员在研究公共会议时发现,在尝试改进模型前,他所检查的十份音频转录中,有八份含有虚构内容。另一位机器学习工程师在分析超过100小时的Whisper转录时,发现大约一半的内容存在幻觉现象。
一位开发人员在其用Whisper生成的26000份转录中发现,几乎每一份都带有虚构内容。即便是音质良好的简短音频样本,也未能幸免于这些问题。计算机科学家们的研究表明,在审查的13000多段清晰音频片段中,有187段出现了幻觉现象。
OpenAI的回应
面对这一发现,OpenAI的发言人表示,公司正在持续研究如何减少幻觉,并感谢研究者的反馈。OpenAI承诺将在模型更新中采纳这些反馈,以改善Whisper的性能和可靠性。(Suky)
免责声明:本文为转载,非本网原创内容,不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
如有疑问请发送邮件至:bangqikeconnect@gmail.com