摘要：人工智能系统在至少 117 起法律案件中产生了虚假细节的幻觉，这些细节一旦被发现，就导致律师受到处罚。一个网站精心汇编了这些案例，并且每个月都会添加新案例。仅 2025 年 5 月就有多达 20 个此类实例，这表明即使 LLM 通过 Deep Reasonin

信息来源：AI 在至少 117 起法律案件中产生了虚假细节的幻觉，导致律师受到处罚 (officechai.com)

AI 系统非常强大，但不幸的是，它们有时会产生幻觉或编造不存在的信息。当这些细节至关重要时，这可能会对 AI 用户造成很大伤害。

人工智能系统在至少 117 起法律案件中产生了虚假细节的幻觉，这些细节一旦被发现，就导致律师受到处罚。一个网站精心汇编了这些案例，并且每个月都会添加新案例。仅 2025 年 5 月就有多达 20 个此类实例，这表明即使 LLM 通过 Deep Reasoning 和 Deep Research 等功能变得更加强大，律师仍然在他们的论点中无意中添加了虚假信息。

大多数实例是 AI 系统编造虚假引文。在法律界，先例是决定未来案件的重要组成部分。律师经常根据类似性质的旧案件的判断方式来争论他们的案件。但是，如果这些律师使用 AI 起草他们的论点，它可能会提出从未存在过的完全虚假的案例。

这 117 个被编译的实例是“不存在或歪曲的案例”、“多次虚假引用和错误引用”、“引用看似虚构的判决”、“至少 25 个捏造或不存在的案例引用”、“来自真实或虚构案例的多个虚构引文”和“虚构的档案编号和虚构的引文”。一旦法院发现这些虚假引用，使用人工智能的律师要么被警告，要么被处以 1000 美元到 31,000 美元不等的罚款。从美国到英国再到以色列，律师都被发现有这些虚假的引文。

法律领域要求律师对过去的案件进行大量研究，这可能既费力又耗时。看来世界各地的律师已经大举采用人工智能，并正在使用它来分析案件。但是，尽管 AI 系统肯定为这么多律师提供了良好的结果，但它们似乎也悄悄地在分析中插入了完全虚假的细节。不仔细检查 AI 工作的律师最终可能会在他们的论点中包含这些内容，如果对方保持警觉，最终可能会受到处罚。这只是表明 AI 系统可能尚未准备好在关键行业部署——虽然它们似乎正在帮助成千上万的律师，但它们也导致他们中的许多人最终脸上挂着鸡蛋。

来源：人工智能学家