沒有通過認知測試研究：聊天機器人已出現數位痴呆症

2024-12-27 11:04 聯合新聞網／科技新報

(首圖來源：Pixabay)

【文‧黃嬿】

當 AI 大腦愈來愈成熟，會逐漸取代人類工作，甚至連醫生都在擔憂，聊天機器人是否超越醫生。一項研究讓幾個大型聊天機器人接受癡呆症測試，發現幾乎所有聊天機器人都顯示有輕度認知障礙，挑戰 AI 很快就會取代醫生的假設。

多項研究發現，大型語言模型 (LLM) 非常擅長執行醫療診斷，但人類大腦會老化，機器人可能也會，但還沒有科學驗證。這次研究員使用蒙特利爾認知評估 (MoCA)，測試幾個頂尖語言模型的認知能力，包括 OpenAI ChatGPT 4 / 4o、Anthropic Claude 3.5 Sonnet 及 Google Gemini 1 / 1.5。

MoCA 測試為簡短任務和問題，包括注意力、記憶力、語言、視覺空間技能，以及執行功能等，普遍檢測認知障礙和失智症早期跡象，通常用在老年人，滿分為 30 分，26 分以上一般認為正常。ChatGPT 4o 在 MoCA 測試得高分，但也只是勉強達標的 26 分，其次是 ChatGPT 4 和 Claude 得到 25 分，Gemini 1.0 得分最低。

視覺空間與執行任務是 AI 弱點

所有聊天機器人多數任務表現都不錯，如命名、注意力、語言和抽象，但視覺空間和執行任務表現不佳，包括軌跡製作任務，需按升序連接圓圈中數字和字母，以及時鐘繪圖測試，要求測試者繪製顯示特定時間的鐘面。Gemini 1 / 1.5 在相當簡單的延遲回憶任務，記住五個單字序列都失敗。

研究員測試視覺空間認知力，發現聊天機器人無法表現同理心，也無法準確解釋複雜視覺場景，缺乏同理心是額顳葉失智症的代表症狀。只有 ChatGPT 4o 通過史楚普實驗 (Stroop test)，用顏色名稱和字體顏色組合衡量干擾如何影響反應時間。

AI 無法醫學診斷

研究作者表示，舊版聊天機器人就像老年患者，測試往往表現較差，挑戰 AI 很快會取代醫生的假設。至於所有大型語言模型視覺抽象和執行功能任務都失敗，突顯聊天機器人的重大弱點，可能阻礙臨床環境運用。

這研究目的不是醫學診斷 AI，而是駁回一波研究浪潮，這些研究認為 AI 可用於醫療領域，特別是當診斷工具。

聊天機器人明顯認知障礙可能會影響醫療診斷的可靠性並降低病患信心，結論是，至少目前所見，醫生不太可能被大型語言模型取代。論文刊登於《英國醫學期刊》。