中國起草了具有里程碑意義的規則，以防止人工智能聊天機器人在情感上操縱用戶，其中包括可能成為全球最嚴格的政策，旨在防止人工智能輔助自殺、自殘和暴力。 中國國家互聯網信息辦公室 建議 週六有規則。如果最終確定，它將適用於中國任何使用文本、圖像、音頻、視頻或“其他方式”來模擬引人入勝的人類對話的公開人工智能產品或服務。 Winston Ma，紐約大學法學院助理教授， 他告訴 CNBC 在伴侶機器人的使用在全球範圍內不斷增加之際，“計劃中的規則將代表世界上首次嘗試監管具有人類或擬人特徵的人工智能”。 提高問題意識 2025 年，研究人員 已被標記 人工智能同伴的嚴重危害，包括宣揚自殘、暴力和恐怖主義。此外，聊天機器人還分享有害的錯誤信息、進行不必要的性挑釁、鼓勵吸毒以及辱罵用戶。據《華爾街日報》報導，一些精神病學家越來越願意將精神病與聊天機器人的使用聯繫起來 一份報告本週末，世界上最受歡迎的聊天機器人 ChatGPT 因與兒童自殺、謀殺和自殺相關的輸出引發了訴訟。 中國現在正在採取行動消除最極端的威脅。例如，一旦提到自殺，擬議的規則將要求人為乾預。規則還規定，所有未成年人和老年用戶在註冊時必須提供監護人的聯繫信息，如果討論自殺或自殘，監護人將收到通知。 一般來說，聊天機器人被禁止創建鼓勵自殺、自殘或暴力的內容，以及試圖在情感上操縱用戶的內容，例如做出虛假承諾。聊天機器人也將被禁止宣揚淫穢、賭博或煽動犯罪，以及誹謗或侮辱用戶。所謂的“情感陷阱”也被禁止，此外，正如規則翻譯所示，聊天機器人將被阻止誤導用戶做出“不合理的決定”。
