您现在的位置： 天极网 > 人工智能

 公众号 排行榜 发布会

牛津大学研究人员利用语义熵判断大模型是否出现“幻觉”

2024-06-24 13:32:32 作者：yu

  • +1 你赞过了

  6月24日消息，据外媒报道，牛津大学的研究人员在确保生成式AI生成的信息可靠性方面取得了重大进展。

  牛津大学计算机科学系的研究作者Sebastian Farquhar表示：“大模型非常有能力以多种不同的方式说出同样的话，这可能会让人很难判断他们什么时候对答案有把握，什么时候只是在编造什么。用以前的方法，不可能区分模型不确定该说什么和不确定如何说。但我们的新方法克服了这一点。”

  为了做到这一点，研究团队利用语义熵的概念，通过概率来判断大模型是否出现“幻觉”。语义熵指的是同一个词语拥有多种含义的情况。当大模型使用这类词语时，可能会对表达的含义感到困惑。通过检测语义熵，研究人员旨在判断大模型的输出内容是否存在“幻觉”的可能。

  目前，幻觉是阻碍更广泛采用ChatGPT或Gemini等大模型的关键因素。除了使大模型不可靠之外，例如通过在新闻文章中提供不准确的内容和编造法律先例，它们甚至可能是危险的，例如在医学诊断中使用。

  该研究的资深作者、牛津大学计算机科学教授、英国人工智能安全研究所研究主任Yarin Gal表示：“从大模型中获得答案很便宜，但可靠性是最大的瓶颈。在可靠性很重要的情况下，计算语义不确定性是一个很小的代价。”

  目前，利用语义熵检测大模型中的幻觉研究已发表在《自然》杂志上。

聚合标签：
相关产品
网友评论
发布
相关推荐
相关文章
本周热门

热门标签

yu

最新资讯

大模型视角下的2024科技圈

热门视频

爱畅K50解锁K歌全新体验

新品评测

大模型视角下的2024科技圈
热门产品排行榜
编辑推荐排行榜
关于我们|About us|天极服务|天极动态|加入我们|网站地图|网站律师|友情合作|RSS订阅|意见反馈
渝B2-20030003Copyright (C) 1999-2022 Yesky.com, All Rights Reserved 版权所有 天极魅客
X
第三方账号登录
  • 微博认证登录
  • QQ账号登录
  • 微信账号登录