當CloudFlare指責網頁的AI搜索引擎溢出以刪除週一的刮擦,同時忽略網站的特定方法以防止它時,這並不是爬行者AI Web Go Groate Wild Wild的明顯情況。
許多人來捍衛尷尬。他們聲稱被認為是違背了網站所有者的意願而感到尷尬的,同時引起了爭議。這是一個爭端,肯定會隨著AI代理的淹沒互聯網而發展:代理商是否應該代表其用戶訪問網站以被視為機器人?還是作為提出相同要求的男人?
Cloudflare以在數百萬個站點上提供反機器人爬行和其他Web安全服務而聞名。從本質上講,CloudFlare試用案例包括創建一個新站點,其新區域從未被任何機器人爬行,創建一個機器人文件。尷尬回答了這個問題。
CloudFlare研究人員發現,當Web探測器本人被阻止時,AI搜索引擎使用“一般瀏覽器,用於模仿MacOS中的Google Chrome”。 Cloudflare Matthew Prince的首席執行官 發表 關於X的研究,寫道:“一些據稱“可信”的人工智能公司更像朝鮮黑客。
但是許多人不同意王子的讚賞,認為她是真正的不良行為。那些捍衛網站上的尷尬的人 像X 和 黑客新聞 他指出,當用戶向他詢問此特定網站時,似乎可以證實Cloudflare的AI可以訪問特定的公共網站。
“如果我作為人類要求網站,那麼我應該展示內容”,一個人 黑客新聞 他寫道:“為什麼LLM代表我訪問該網站與Web Firefox上的瀏覽器不同?”
一位Pulplexity發言人此前否認TechCrunch是該公司是該公司,並將CloudFlare博客稱為Cloudflare的銷售步驟。然後在星期二,尷尬 發布了一個博客 為了捍衛它(通常會攻擊Cloudflare),認為該行為是來自偶爾使用的第三方服務。
TechCrunch活動
弗朗西斯科
|
2025年10月27日至29日
但是,困惑地位的本質對互聯網上的捍衛者產生了類似的吸引力。
該郵報說:“自動檢測和用戶指導的攝入量之間的差異不僅僅是一種技術,這是可以訪問開放組織信息的技術。” “這一爭議表明,Cloudflare系統從根本上不足以區分AI的法律助理和真正的威脅。”
困惑類別並不完全公平。 Prince和Cloudflare用來稱呼困惑方法的一個論點是,Openai並沒有以相同的方式行事。
“ Openai是遵循這些最佳實踐的頂級AI公司的一個例子” Cloudflare寫道。 “尊重robots.txt,不要試圖避免使用最近提議的開放標準Web Bot Auth aubot txt或網絡級別塊或網絡級別塊和網絡級別塊和chatgpt代理簽署HTTP請求。”
Web Bot Auth 這是由工作隊工程互聯網開發的Cloudflare支持的模型,希望創建一種加密方法來確定AI Agent Web的請求。
討論是隨著機器人活動重塑互聯網而進行的。正如前面提到的TechCrunch所述,試圖刮擦大量訓練AI模型的大量內容的機器人受到威脅,尤其是在較小的位置。
這是互聯網歷史上的第一次 機器人活動目前超過互聯網上的人類活動根據Imperva上個月發布的不良機器人報告,AI流量佔50%以上。這項活動的大部分來自LLM。但是該報告還發現,惡意機器人現在佔所有互聯網流量的37%。這是包括所有內容的活動,從持續刮擦到未經授權的連接嘗試。
在LLMS之前,Internet普遍認為,使用驗證碼和其他服務(例如CloudFlare),這些站點可以並且應該防止機器人活動更多地是惡意的。這些網站還具有明顯的動力來與特定的好演員(例如Googlebot)合作,將其引導到您不應該通過robots.txt找到的東西。 Google Internet指數,將流量發送到網站。
現在,LLMS吃了越來越多的流量。 Gartner預測 這卷搜索引擎 到2026年,他們將減少25%。目前,人們傾向於單擊“ LLMS”的點擊網站鏈接,以使其對網站更有價值的地步,即他們準備進行交易。
但是,如果人們採用代理商作為技術行業預測的,他們將 – 組織我們的旅程,關閉晚餐預訂並為我們購物 – 這些網站會通過阻止他們來損害他們的商業利益嗎?關於X的辯論完全佔據了困境:
“當我給他一個請求/工作時,我希望尷尬地代表我訪問任何公共內容!”我寫 一個人 為了回應Cloudflare,召喚尷尬。
“如果網站的所有者不想要它怎麼辦?他們只想直接參觀房屋,看他們的東西» 支持另一個指出創建內容的網站的所有者需要流量和可能的廣告收入,以免讓尷尬得到。
“這就是為什麼我看不到真正有效的’實用之旅 – 比人們想像的要困難得多。大多數網站所有者都會阻止» 第三 它是預見的。