斯坦福大學研究人員測試了包括 GPT-4o 和 DeepSeek 在內的 24 款大型語言模型，通過 13,000 個問題發現，人工智慧聊天機器人在辨別真實與虛假信念時表現不佳，尤其是在應對「我相信……」這類第一人稱表述時更為明顯。
研究指出，所有測試的模型在識別虛假信念方面均存在顯著困難。即便是在較為簡單的真假陳述判斷中，這些模型的準確率高達 91.1% 至 91.5%，但在涉及信念語言時，準確率大幅下滑。
較新的模型（2024 年 5 月後推出）在正確識別虛假信念方面，比起真實信念的識別率下降了 34.3%。而較舊模型的表現則更差，下降幅度達 38.6%。研究者指出，這些 AI 系統採取了「不一致的推理策略」，更像是依賴表層的模式匹配，而非深入理解句意。
這項發現引發了對 AI 技術在現實世界應用中的深切擔憂。根據 Adobe Express 調查，高達 77% 的美國使用者將 ChatGPT 視為搜尋引擎，其中有三分之一的用戶對其信任程度超過傳統搜尋引擎。因應此情況，OpenAI 自 2025 年 10 月 29 日起，正式禁止 ChatGPT 提供醫療、法律與財務建議。
馬德里自治大學語言學專家 Pablo Haya Coll 警告：「將信念與知識混淆，可能在關鍵領域導致嚴重判斷錯誤。」研究團隊強調，這種限制可能「誤導診斷、扭曲司法判決，並加劇錯誤資訊的擴散」。
多起事件突顯此風險：今年五月，加州一名法官因兩家律師事務所於法律文件中使用 AI 生成的錯誤資訊，處以 31,000 美元罰款。此外，斯坦福一位錯誤資訊專家坦承在法庭聲明中忽視了 ChatGPT 輸出的「幻覺式引用」。
作者總結，AI 技術在區分主觀信念與客觀事實方面存在「結構性弱點」，需要「緊急改進」，才能在法律、醫療等高風險領域安全廣泛應用。
