當前，主流AI工具通過爬蟲技術直接抓取網站數據，以滿足用戶查詢需求。然而，這種模式導致用戶跳過原始網站、直接通過AI獲取信息，使得原網站的訪問量顯著下降。與此同時，AI工具的頻繁抓取反而消耗了大量服務器資源，令原網站面臨流量被“掏空”的困境。據網絡安全公司Cloudflare的統計，自2025年起，AI平臺的爬蟲行為對互聯網生態的影響愈發明顯。

Cloudflare通過追蹤大型科技公司的爬蟲請求次數與實際導流量的比例，提出了“抓取與回流比”這一指標。例如，當某平臺的抓取與回流比為100:1時，意味著其爬蟲每抓取100次內容，僅能為原網站帶來1次訪問。數據顯示，Anthropic的這一比例表現最差，其爬蟲抓取量遠超實際導流量；OpenAI的情況同樣不容樂觀，兩家公司均被指從互聯網獲取大量價值，卻未給予相應回報。

這一現象并非孤立存在。2024年末，媒體Business Insider的調查也指出，Anthropic和OpenAI的爬蟲對部分網站的抓取頻率“異常高”，直接導致原網站的流量成本和云計算支出激增。有開發者透露，其客戶的云服務賬單因AI爬蟲活動在數月內翻倍，反映出AI公司不僅減少了內容回流，還將運營成本轉嫁給了網站所有者。

從內容生產者到平臺運營者，互聯網生態的多個環節正因AI爬蟲的普及而承受壓力。原網站在失去流量優勢的同時，還需承擔更高的服務器負載；而AI公司則通過技術手段低成本獲取數據，進一步加劇了資源分配的不平等。這一矛盾若持續發酵，或將重塑互聯網內容共享的底層邏輯。