對於粗俗,令人反感甚至犯罪行為而言,戲劇演講是臭名昭著的。即使只有很小的比例,數百萬的對話時間也可以集中多個有毒的互動,這對於玩家和視頻遊戲公司來說是一個問題,尤其是在兒童方面。 Roblox在處理賭博這一方面的經驗很多,並使用AI創建了整個系統來在超過1億個新的日常用戶Sentinel中執行安全規則。現在,它已經打開了,在任何平台上免費升級之前,它提供了AI及其確定對話中的護理和其他危險行為的能力。
這不僅是一個愚蠢的過濾器,當一種類型的詛咒時被激活。羅布洛克斯(Roblox)總是有。 Sentinel旨在隨著時間的推移觀察圖案。他可以觀察談話的發展方式,尋找一個微妙的跡象表明,人們試圖以潛在的有問題的方式與孩子建立信心。例如,它可以表明一個漫長的討論,其中聽起來成年的玩家或多或少對孩子的個人生活感興趣。
Sentinel幫助Roblox協調員歸檔了大約1200份報告,僅在今年上半年向國家失踪和被剝削兒童中心報告。作為一個在早期互聯網聊天室西部長大的人,“節制”通常意味著它懷疑使用了適當的拼寫和語法的人是成年人,我不能高估向前邁進多少。
開放式哨兵是指任何遊戲或電子平台,要么大於 Minecraft或像地下命中率一樣小,可以調整哨兵並使用它使自己的社區更安全。這是一個異常慷慨的舉動,儘管這一舉動具有明顯的公共關係,並且可能對公司帶來了長期的商業福利。
對於兒童(和成人監護人),好處是顯而易見的。如果更多遊戲開始運行Sentinel樣式檢查,則掠食者滑過裂縫的機會就會下降。父母將獲得另一個不應該安裝的隱形安全網。孩子們專注於遊戲,而不是導航相當於黑暗小巷的電子。
對於整個視頻遊戲,這是增加基本安全線路的機會。想像一下,如果每個重要的遊戲是較小覆蓋的模擬器的最大電子競技遊戲之一,則可以訪問同一預警系統。它不會消除問題,但可能會使不良行為更難隱藏。
AI電子安全性
當然,描述中沒有“ AI”沒有並發症。最明顯的是機密。這種類型的工具可以實時掃描人們彼此所說的話,從而尋找危險信號。 Roblox說,他使用一分鐘的對話快照,並為任何突出顯示的內容保持了人類審查的過程。但是,即使這是善意的,您也無法真正經歷這是監視的事實。當您打開這樣的工具時,您不僅會給良好類型的副本。您還可以使壞演員更容易看到您如何阻止他們並在系統周圍圍繞系統。
然後是語言本身的問題。人們一直在改變他們的講話方式,尤其是在線。 lang句轉移,開玩笑是轉換的,新應用程序會創建新的短褲。經過訓練可以在2024年趕上護理工作的系統可能會失去2026年發生的事情。 roblox Sentinel定期更新,包括AI培訓和人類審查,但是較小的平台可能沒有資源來跟上談話中正在發生的事情。
儘管沒有合理的人反對破壞兒童的掠食者或瘋狂的中斷,他們故意試圖使孩子不高興,但AI工具可以被濫用。如果將一些政治討論,有爭議的觀點或有關遊戲的抱怨添加到過濾器列表中,那麼很少有玩家可以做到這一點。 Roblox和使用Sentinel的公司不僅應該透明,不僅與代碼有關,而且還應以開發方式以及收集的數據的使用方式透明。
檢查羅布洛克斯決定的框架也很重要。該公司面臨有關使用該平台的孩子們發生的事情的訴訟。訴訟 他聲稱在與捕食者見面後交易了13年 – 在平台上。哨兵並不完美,使用它的公司可能會面臨法律問題。理想情況下,它將作為在線安全安排的組成部分,其中包括更好的用戶和父母控制。 AI無法替換所有安全程序。
儘管AI開發了幫助電子安全性的真正問題,但我認為開放式前哨是罕見的情況之一,即AI的使用是直接且有形的。我已經寫了足夠多的關於使人們生氣,困惑或破產的算法的文章,以使人們真正使人們更安全。通過製作開源可以幫助在線變得更安全的空間。
我認為Sentinel不會阻止任何捕食者,我認為他不應該替代良好的父母責任,更好的人類節制和兒童教育,以便在網上玩時如何安全。但是,作為一項很好的額外防守,Sentinel在為兒童建立更好的互聯網體驗中起著作用。