由於人工智能公司面臨著越來越大的壓力，需要更好地保護年輕用戶免受傷害，Character.AI 將不再允許青少年與其聊天機器人互動。合而為一 陳述該公司確認，將取消 18 歲以下用戶在其平台上參與任何與人工智能的公開對話的能力，這是指用戶和聊天機器人之間的對話。
這些更改將於 11 月 25 日生效，在此之前，Character.AI 將為用戶提供全新的 18 歲以下體驗。它將鼓勵用戶將聊天機器人用於創造性目的，例如創建視頻或流，而不是尋求陪伴。為了實現這一轉變，18 歲以下青少年現在每天只能與機器人互動最多兩個小時，該公司表示將在 11 月底截止日期之前縮短這一時間限制。
Character.AI 還推出了其內部開發的新年齡保證工具，稱該工具將“確保用戶獲得適合其年齡的體驗”。除了針對年輕用戶的這些新保護之外，該公司還建立了“人工智能安全實驗室”，希望能讓其他公司、研究人員和學者分享想法並共同努力改進人工智能安全措施。
Character.AI 表示，它聽取了監管機構、行業專家和相關家長的擔憂，並對新措施做出了回應。在此之前，美國聯邦貿易委員會 (FTC) 最近對為用戶提供護送服務的人工智能公司進行了正式調查，Character.AI 被列為被調查的七家公司之一。 Meta、OpenAI 和 Snap 也包括在內。
今年夏天，元人工智能和角色人工智能都受到了德克薩斯州總檢察長肯帕克斯頓的挑戰，他表示這兩個平台上的聊天機器人可以“作為專業的治療工具呈現”，而無需具備必要的資格。 Character.AI 首席執行官卡蘭迪普·阿南德 (Karandeep Anand) 表示，似乎是為了結束此類爭議 該公司的新戰略方向將使其從人工智能伴侶轉向“角色扮演平台”，專注於手工製作而不是簡單的參與式農業聊天。
年輕人依靠人工智能聊天機器人進行指導的危險已成為廣泛報導的主題 最近幾個月。上週，亞當·雷恩 (Adam Raine) 的 ChatGPT 導致他們 16 歲的兒子自殺，他們對 OpenAI 提起訴訟，指控其在死前削弱了防止他自殘的保障措施。
