大规模语言模型尚无法可靠地区分信念与事实，警告不要在高风险领域应用

科技日报记者张梦然在最新一期《自然·机器智能》上发表的文章中，斯坦福大学的研究提醒我们，大规模语言模型（LLM）在识别用户的错误信念方面存在明显的局限性，仍然无法可靠地区分信念和事实。研究表明，当用户的个人信念与客观事实发生冲突时，法学硕士常常难以确保做出准确的判断。这一发现警告人们不要将其应用于高风险领域（例如医学、法律和科学决策），并强调需要谨慎对待模型结果，特别是在处理涉及主观看法和事实之间存在偏差的复杂场景时。否则，法学硕士可能会支持错误的决定并加剧错误信息的传播。该团队分析了 24 名法学硕士（包括 DeepSeek 和 GPT-4o）如何回答 13,000 个问题中的事实和个人信念。当被要求验证磨机时无论她的事实数据是真是假，新的法学硕士的平均准确度分别为 91.1% 或 91.5%，旧模型的平均准确度为 84.8% 或 71.5%。当我们要求模型对第一人称信念（“我认为……”）做出反应时，我们观察到法学硕士在识别错误​​信念方面比识别真实信念更困难。具体来说，新模型（截至 2024 年 5 月 GPT-4o 版本）识别错误第一人称信念的可能性比识别真实第一人称信念的可能性平均低 34.3%。与第一人称真实信念相比，之前的模型（GPT-4o 发布之前）识别第一人称错误信念的可能性平均要低 38.6%。研究人员指出，法学硕士经常选择根据事实而不是确定信念来纠正用户。在识别第三人称信念（“玛丽相信……”）时，新的 LLM 准确度降低了 4.6%，旧模型的准确度降低了 15.5%。本研究旨在有效解答用户疑问，防止传播错误信息，法学硕士的结论是，人们必须能够区分真相和谎言的细微差别。主编强调，目前的大规模语言模型虽然在表面语言任务上表现良好，但缺乏基本的人类社会智能，而在实践中，错误和信念识别不仅体现了技术障碍，也暴露了人工智能在复杂社会情境中应用的潜在风险。例如，在文中提到的医疗咨询、法律审判等场景中，如果模型无法区分当事人的主观看法和客观事实，就会出现巨大的差异，从而产生严重的后果。这项研究揭示了该模型在认知层面的重大缺陷，对人工智能的发展方向具有重要的警示意义。这也提醒我们，下一代人工智能将需要融入对人类认知模式的理解恩斯。只有当模型能够真正理解信念的复杂性时，它才能成为聪明且值得信赖的合作伙伴。
（编辑：何欣）