該託管平台希望網站對人工智慧公司如何使用其內容有更多的控制權。
Cloudflare 宣布了自動阻止混合用途網路爬蟲的計劃，這些網路爬蟲為搜尋引擎索引網站並充當人工智慧代理和培訓師。該公司先前向客戶提供了阻止爬蟲抓取其網站的 AI 聊天機器人的選項，但現在 Cloudflare 的立場預設變得更加防禦性。
Cloudflare 執行長兼聯合創辦人 Matthew Prince 表示：「既然大多數網路流量都不是人類的，我們需要走得更遠、更快地採取行動，以便形成可持續的生態系統。」「Cloudflare 的新工具和合作夥伴關係為網站所有者提供了更高的可見性和商業機會，並使擁有具有明確和透明意圖的機器人的人工智慧公司受益。我們希望我們希望我們的預設使用和商業機會，並使擁有具有明確用途和透明意圖的機器人的人工智慧公司受益。
網路流量過去常常表明人們看到了網站的廣告或為其訂閱付費，但可以代表用戶訪問網站以獲取最新資訊的人工智慧模型的流行已經顛覆了該系統。 Cloudflare 的新方法試圖以對人工智慧公司和網站營運商都公平的方式平衡這種關係。
從 2026 年 9 月 15 日開始，現有 Cloudflare 訂閱者的新客戶和新網站將「允許搜索，但阻止對代理進行培訓和使用帶有廣告的頁面」。預設情況下，不讓網站所有者選擇其網站是否用於人工智慧的混合用途爬蟲也將在廣告頁面上被封鎖。該公司表示，擁有免費帳戶的用戶也將切換到這些預設設置，除非他們在 9 月 15 日截止日期之前選擇退出。
作為這些變化的一部分，Cloudflare 還推出了 2025 年推出的按次付費功能的新版本，該功能允許網站預設阻止 AI 網路爬蟲，除非公司付費刪除其內容。該功能現在稱為按使用付費，Cloudflare 表示，當網站所有者的內容出現在人工智慧聊天機器人的回應中時，網站所有者將獲得報酬，而不是根據網頁是否被抓取來付費。該公告只提到了與 Ceramic.AI 和 You.com 的合作夥伴關係，但 Cloudflare 可能希望其他人工智慧公司隨著客戶的選擇加入。
此外，它一般會試圖讓網站和AI公司之間的關係更加公平，例如 TechCrunch 值得注意的是，Cloudflare 似乎也間接針對Google。該公司的公告稱，「最大的搜尋引擎可以獲得的資訊大約是領先人工智慧公司的兩倍，因為它們使客戶很難在不使用人工智慧的情況下保持被發現。」Google 的主要爬蟲 Googlebot 為該公司的各種搜尋引擎索引網站，並收集資訊來訓練 Gemini 並為 AI 功能（例如 AI 概述和 AI 模式）提供支援。谷歌允許網站參與一個名為“谷歌擴展”的單獨爬蟲程序，該程序僅抓取傳統搜索結果的網站，但如果發布商希望包含在人工智能模式結果中，但不希望其內容訓練谷歌的模型，他們別無選擇。 Cloudflare 的新政策試圖迫使 Google 和其他擁有混合用途爬蟲的公司改變策略。
