美國公共利益研究小組（PIRG）教育基金的一份新報告對兒童遊戲中人工智慧聊天機器人的使用日益增多提出了擔憂，警告其中一些系統可能不適合年輕用戶。該報告稱，許多人工智慧遊戲都採用了聊天機器人技術，該技術可以產生類似於成人人工智慧服務中使用的回應，從而使兒童接觸到不適當或誤導性的內容。
該研究檢視了一系列融入人工智慧對話功能的遊戲，包括互動娃娃、機器人和教育小工具。其中許多產品允許孩子們與自然語言回應遊戲交談，並由類似於廣泛使用的人工智慧聊天機器人中使用的大型語言模型支援。
雖然科技可以使玩具更具互動性和教育性，但 PIRG 研究人員認為，某些產品內建的安全措施可能不足以保護年輕受眾。報告特別強調，底層人工智慧系統通常來自主要為一般使用者而非兒童設計的平台。
因此，這些遊戲產生的人工智慧回應可能包含更適合成人而不是兒童的訊息或對話主題。該報告還警告說，人工智慧可能會產生不準確或不可預測的回應，這可能會讓傾向於相信游戲作為可靠資訊來源的年輕用戶感到困惑。
研究遊戲文件和隱私政策的研究人員也發現，一些產品嚴重依賴基於雲端的人工智慧系統
這意味著兒童的語音互動可以傳輸到外部伺服器，在外部伺服器中處理資料並用於產生回應。隱私權倡議者表示，這引發了人們對兒童資料如何儲存和使用的額外擔憂。某些遊戲可能會在對話期間收集錄音、使用者提示或其他個人資訊。如果這些系統的設計沒有考慮到兒童的隱私，資料可能會被濫用或在沒有明確保護措施的情況下儲存。
報告也指出，許多人工智慧遊戲都將免責聲明寫入其服務條款或產品文件中。這些免責聲明有時會指出人工智慧的反應可能並不總是準確或適當的，這實際上將責任轉移給了父母，而遊戲本身則直接轉移給了孩子。
這種情況很重要，因為人工智慧技術越來越多地進入日常消費品，包括專為年輕受眾設計的產品。模擬對話的遊戲可以對孩子產生很大的影響，他們經常將其視為同儕或學習工具。
專家表示，孩子可能很難區分可靠的資訊和人工智慧生成的推測性、有偏見或錯誤的答案。隨著人工智慧系統的不斷發展，確保這些技術能夠確保兒童的安全將變得越來越重要。
研究結果也凸顯了更廣泛的監管挑戰
雖然許多國家都有旨在保護兒童線上隱私的法律，例如美國的《兒童線上隱私權保護法》（COPPA），但這些法規是在基因人工智慧興起之前製定的。
倡導團體認為，監管機構可能需要更新安全標準和指南，以解決人工智慧系統如何透過連網裝置與兒童互動的問題。
PIRG 報告呼籲遊戲製造商實施更強有力的保障措施，例如更嚴格的內容過濾、更清晰地披露人工智慧的使用情況以及更透明的數據實踐。它還建議該公司專門為兒童設計人工智慧系統，而不是重複使用最初為成人受眾建立的模型。
展望未來，研究人員表示，科技公司、監管機構和兒童安全專家之間的合作對於確保人工智慧玩具保持創新和安全至關重要。
隨著人工智慧越來越多地融入日常產品，挑戰將是平衡互動技術的好處與保護年輕用戶免受潛在風險的責任。
