AY聊天 – 機器人仍然過於自信 – 即使他們誤會了，也可以找到研究

如今，無處不在的人工智能聊天程序，從智能手機和客戶服務門戶到在線搜索系統。但是，當這些便利的工具高估了自己的能力時會發生什麼？

研究人員詢問了參與的人和四個大型語言模型（LLMS），他們對回答有關瑣事的問題的能力有多麼自信，預測NFL遊戲的結果或奧斯卡金像獎頒獎典禮，或者通過與Picius類似的圖像識別進行遊戲。通常，人們和LLM都過於確定他們如何假設工作。有趣的是，他們還回答了具有相對相似成功指標的問題或確定的圖像。

但是，據該雜誌上發表的一項研究，當參與者和LLM追溯地詢問他們認為只有人們能夠調整期望的程度時。 記憶和知識場地

“人們告訴我們，他們將正確地收到18個問題，最後他們收到了正確的15個問題。通常，他們的評估隨後將大約有16個正確的答案，”最近獲得聯合博士學位的Trent Cache說。在社會決策和心理學系的卡內基大學 – 梅隆大學。 “因此，他們仍然有點自信，但並非如此自信。”

該研究的主要作者的緩存說：“ LLMS並沒有這樣做。” “即使他們在任務上做得不好，他們也有一種傾向（如果有的話）變得更加自信。”

AI的世界每天都在迅速改變，這吸引了有關其應用程序的一般結論，該結論被認為是現金。

但是，該研究的力量之一是數據是在兩年內收集的，這意味著使用不斷更新的LLM（稱為Chatgpt，Bard/Gemini，Sonnet和Haiku）的LLM版本。這意味著隨著時間的流逝，根據不同模型發現了AI的自信。

“當AI說一些似乎有些可疑的話時，用戶可能不會像應有的那樣懷疑，因為AI充滿信心地確認了這個答案，即使這種信心是不合理的，”部長內閣社會和決策系教授丹尼·奧本海默說。

“人們隨著時間的流逝發展並從出生開始就練習，以解釋給他人的信心信號。如果我的戰斗在眉毛上或我慢慢回答，您可以理解我不一定確定我在說我說的，但是有了AI，我們沒有太多信號，因為他知道他是否知道他在說什麼，” Oppenheimer說。

問並提出正確的問題

儘管LLM在回答有關瑣事問題和預測足球比賽結果的回答的準確性相對較低，但該研究暗示了與這些技術集成到日常生活中有關的陷阱。

例如，最近 學習 BBC進行的該行為發現，當LLM詢問有關新聞的問題時，超過一半的答案存在“重大問題”，包括實際錯誤，對來源的錯誤吸引力以及缺席或誤導了環境。同樣，對2023年的另一項研究發現了LLMS“幻覺”或不正確的信息， 69-88％的法律請求場地

顯然，他是否知道他在說什麼的問題從來都不重要。事實是，LLM並不是要回答用戶每天向他們投擲的所有內容。

Oppenheimer說：“如果我問：“倫敦的人口是多少，” AI會尋找互聯網，給出理想的答案，並給出完美的信任校準。”

但是，詢問有關未來事件的問題，例如即將到來的奧斯卡金像獎的獲獎者或更主觀的主題，例如所謂的手動繪製圖像的身份，研究人員能夠揭示元認知中聊天機器人的明顯弱點，即實現自己的心理過程的能力。

Oppenheimer說：“我們仍然不知道AI如何評估他的信心，但似乎他沒有參加內省，至少沒有熟練地參加內省。”

該研究還表明，每個LLM都有優勢和劣勢。總的來說，LLM（被稱為十四行詩）比他的同齡人不太自信。同樣，在與一部分類似的測試中，Chatgpt-4的執行方式類似於人類參與者，準確地確定了12.5個手動繪製的圖像，而雙胞胎平均只能識別0.93個草圖。

此外，雙子座預測，他平均會收到10.03個草圖，即使他正確回答了20個問題之一，LLM回顧性地計算出他正確回答了14.40，表明缺乏自我意識。

“雙胞胎在圖像中只是非常糟糕的，”緩存說。 “但是更糟糕的是，它不知道它在Pictionary中很糟糕。就像那個發誓他們在游泳池裡宏偉的朋友，但他們從未開槍。”

通過人工智能增強信心

對於日常用戶，現金現金聊天表示，最大的結論是記住，LLM本質上不是正確的，並且他們可以問他們回答重要問題時的確定性是個好主意。

當然，該研究假設LLM不能總是準確地判斷，但是如果聊天率認識到低信心，這是一個很好的跡象，表明他的答案不能被信任。

研究人員指出，與更大的數據集相比，聊天機器人也可以更好地理解自己的能力。

Oppenheimer說：“也許他有數千或數百萬的測試，那會更好。”

最終，諸如自信之類的弱點的暴露只會幫助那些發展和改善LLM的人。隨著人工智能變得更加先進，他可以發展一個元知識，以便從他的錯誤中學習。

“如果LLM可以遞歸地確定它們是錯誤的，那麼這將解決許多問題，”緩存說。

“我認為LLM通常無法研究自己的行為很有趣，” Cache說。 “也許有一個人文主義的故事。也許人們學習和交流有一些特別的故事。”