> 科技 >

世界速递!机器人“撰写”摘要骗过科学家

时间:2023-02-14 13:55:04       来源:今日科学

本报讯 生物预印本服务器bioRxiv日前发布的一项研究显示,人工智能(AI)聊天机器人可以写出科学家通常无法辨别真假的虚假研究论文摘要。

“我很担心。”英国牛津大学科学家、并未参与此项研究的Sandra Wachter说,“如果专家无法判断真假,我们就失去了指导我们解决复杂问题的迫切需要的中间人。”

聊天机器人ChatGPT可以根据用户提示创建真实、智能的文本。这是一个“大型语言模型”,是一个基于神经网络的系统,通过学习大量现有人类生成文本执行任务。总部位于美国加州旧金山的软件公司OpenAI发布了这款工具,并可免费。


(资料图)

该工具发布以来,研究人员一直努力解决围绕其使用的伦理问题,因为它输出的文本很难与人类书面文本区分开来。科学家已经发表了由ChatGPT撰写的预印本和社论。现在,西北大学的Catherine Gao领导的一个小组,使用ChatGPT生成了论文摘要,以测试科学家能否辨别它们的真假。

研究人员要求聊天机器人根据发表在《美国医学会杂志》《新英格兰医学杂志》《英国医学杂志》《柳叶刀》和《自然-医学》的文章,撰写50篇医学研究摘要。然后,他们通过剽窃检测器和AI输出检测器将这些摘要与原始摘要进行比对,并请一组医学研究人员找出编造的摘要。

结果,ChatGPT生成的摘要通过了剽窃检查:原创度得分中值为100%,表明没有发现抄袭。AI输出检测器发现了66%的生成摘要。但人工审稿人并没有做得更好——只正确识别了68%的生成摘要和86%的真实摘要,错误地将32%的生成摘要识别为真实摘要、14%的真实摘要识别为生成摘要。

“ChatGPT撰写出了能骗过审稿人的科学摘要。”Gao和同事在预印本中说,“利用大型语言模型帮助科学写作的道德和可接受的界限仍有待确定。”

Wachter表示,如果科学家不能确定研究是否属实,那么会产生“可怕的后果”。如果研究人员阅读的研究是捏造的,可能会将他们带入有缺陷的研究路线。不仅如此,科学研究在社会中扮演着重要角色,这也可能意味着基于研究的政策决定是不正确的。

“任何一位严肃的科学家都不太可能使用ChatGPT生成摘要。”普林斯顿大学计算机科学家Arvind Narayanan补充说,“生成的摘要是否能被检测到并不重要,重要的是该工具是否能生成一个准确且令人信服的摘要。而ChatGPT不能,因此使用的好处是微不足道的,缺点则是显著的。”

Irene Solaiman在总部位于纽约和法国巴黎的AI公司hug Face研究AI的社会影响,她担心科学思维会依赖大型语言模型。“这些模型是根据过去的信息训练而成的,而社会和科学的进步往往来自与过去不同的思维,或开放性思维。”

作者建议,那些评估科学通讯的人应该制定政策,禁止使用AI生成的文本。若有机构选择在某些情况下使用该技术,则应该制定明确的规则。将于今年7月在夏威夷檀香山举行的第四十届国际机器学习大会,不久前宣布禁止使用ChatGPT和其他AI语言工具撰写的论文。

Solaiman补充说,虚假信息可能危及人类安全,比如医学领域。因此,期刊必须采取更严格的方法验证信息的准确性。

Narayanan说,问题的解决方案不应该仅集中在聊天机器人上,而应是导致这种行为的不正当动机上,比如大学在进行招聘和晋升审查时,只计算论文数量,而不考虑论文质量。(李木子)

相关论文信息:

https://doi.org/10.1038/d41586-023-00056-7

版权声明:本文转载仅仅是出于传播信息的需要,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,须保留本网站注明的“来源”,并自负版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,请与我们接洽。

标签: 研究人员 语言模型 禁止使用

消息推送