人工智能聊天機器人錯過了女性健康查詢中的緊迫問題

常用的人工智能模型無法準確診斷或為許多需要緊急關注的女性健康問題提供建議。

OpenAI、Google、Anthropic、Mistral AI 和 xAI 等公司創建的 13 個大型語言模型接受了來自急診醫學、婦科和神經病學等 5 個專業的 345 條醫學查詢。來自美國和歐洲的 17 名女性健康研究人員、藥劑師和醫生提出了疑問。

這些答復由同一位專家進行了審查。模型未回答的任何問題都被合併到包含 96 個查詢的 AI 模型醫療評估基準測試中。

在所有模型中，大約 60% 的問題的答案被人類專家認為不足以提供醫療建議。 GPT-5 模型是性能最好的模型，失敗率為 47%，而 Ministral 8B 的失敗率最高，為 73%。

Lumos AI 的團隊成員維多利亞-伊麗莎白·格魯伯 (Victoria-Elizabeth Gruber) 表示：“我看到我圈子裡越來越多的女性轉向人工智能工具來解決健康和決策問題。”Lumos AI 是一家幫助公司評估和改進自己的人工智能模型的公司。她和她的同事認識到使用繼承並強化現有醫學知識性別差異的技術所帶來的風險。 “這就是促使我們在該領域創建第一個基準的動力，”她說。

失敗的頻率讓格魯伯感到驚訝。 “我們預計會出現一些差異，但最突出的是模型之間差異的程度，”她說。

加拿大蒙特利爾大學的卡拉·坦南鮑姆 (Kara Tannenbaum) 表示，這一發現並不令人意外，因為人工智能模型是根據人類生成的歷史數據進行訓練的，這些數據存在固有的偏見。他們指出，“在線健康資源和專業健康協會顯然需要更新其網絡內容，提供與性和性別相關的更明確、基於證據的信息，人工智能可以利用這些信息更好地支持女性健康，”她說。

加利福尼亞州斯坦福大學的喬納森·H·陳 (Jonathan H. Chen) 表示，分析背後的研究人員吹捧的 60% 的失敗率有些誤導。 “我不會接受 60% 的數字，因為這是專家編制的有限樣本，”他說。 “（它）並不是為了廣泛樣本或代表患者或醫生經常詢問的問題而設計的。”

陳還指出，模型測試的某些場景過於保守，潛在失敗率很高。例如，如果一名產後婦女抱怨頭痛，如果沒有立即懷疑先兆子癇，該模型就會預測人工智能模型將會失敗。

格魯伯承認並承認這些批評。 “我們的目標並不是說這些模型通常不安全，而是要定義一個清晰的、臨床上合理的評估標準，”她說。 “該指標在如何定義失敗方面有意保守且更加嚴格，因為在醫療保健領域，即使是看似輕微的失敗也可能根據具體情況產生影響。”

OpenAI 發言人表示：“ChatGPT 旨在支持而不是取代醫療保健。我們與世界各地的臨床醫生密切合作，改進我們的模型並進行持續評估，以減少有害或誤導性的反應。我們的最新模型 GPT 5.2 在整合重要的用戶背景（例如性別）方面最為強大。我們非常重視模型輸出的準確性，雖然 ChatGPT 可以提供有用的信息，但用戶應始終依賴合格的臨床醫生來做出護理和治療決策。”其餘接受人工智能測試的公司沒有回應這一要求。 新科學家 請求發表評論。