在互聯(lián)網(wǎng)生態(tài)因AI智能體快速滲透而發(fā)生深刻變革的背景下，全球知名內(nèi)容分發(fā)網(wǎng)絡(luò)服務(wù)商Cloudflare與網(wǎng)絡(luò)托管巨頭GoDaddy宣布達(dá)成戰(zhàn)略合作，共同構(gòu)建AI與網(wǎng)站交互的規(guī)則框架。雙方將通過技術(shù)整合與標(biāo)準(zhǔn)制定，幫助網(wǎng)站所有者重新掌握內(nèi)容訪問權(quán)，應(yīng)對AI爬蟲帶來的流量流失與收益沖擊。

此次合作的核心是GoDaddy將Cloudflare開發(fā)的AI爬蟲管理工具嵌入其托管平臺。該工具允許網(wǎng)站運(yùn)營者自主設(shè)定AI訪問權(quán)限，包括完全禁止、自由放行或要求付費(fèi)訪問三種模式。Cloudflare首席策略官Stephanie Cohen指出："我們正通過技術(shù)賦權(quán)，讓創(chuàng)作者既能驗(yàn)證訪問者身份，又能為合規(guī)AI提供安全交互通道。"這一舉措直指當(dāng)前AI搜索對傳統(tǒng)網(wǎng)站流量的擠壓——當(dāng)用戶通過AI概覽等工具直接獲取答案時(shí)，原始內(nèi)容提供者的廣告收入與轉(zhuǎn)化率正急劇下降。

為平衡技術(shù)管控與生態(tài)發(fā)展，雙方同步推進(jìn)兩項(xiàng)開放標(biāo)準(zhǔn)建設(shè)。其一是智能體名稱服務(wù)（ANS），這個(gè)由GoDaddy主導(dǎo)開發(fā)的系統(tǒng)類似于AI領(lǐng)域的DNS，通過建立去中心化的智能體注冊表，將AI實(shí)體與其控制方綁定，確?？勺匪菪耘c信任度。目前該系統(tǒng)已在GitHub開源，支持多協(xié)議接入。另一項(xiàng)標(biāo)準(zhǔn)是Cloudflare提出的Web Bot Auth認(rèn)證體系，通過在HTTP請求中嵌入加密簽名，使AI爬蟲可自證身份。兩家公司強(qiáng)調(diào)，這些技術(shù)組合將形成"默認(rèn)透明"的智能體網(wǎng)絡(luò)環(huán)境。

MIT計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室（CSAIL）發(fā)布的《2025 AI智能體指數(shù)》報(bào)告顯示，現(xiàn)有AI機(jī)器人中63%會無視r(shí)obots.txt協(xié)議，僅12%會主動披露安全信息。這種無序狀態(tài)加劇了網(wǎng)站所有者的困境——據(jù)統(tǒng)計(jì)，全球約20%網(wǎng)站依賴Cloudflare的防護(hù)服務(wù)，而GoDaddy托管著超8000萬個(gè)域名。兩大巨頭的標(biāo)準(zhǔn)推廣若獲成功，將覆蓋相當(dāng)比例的互聯(lián)網(wǎng)基礎(chǔ)設(shè)施。

技術(shù)管控的另一面是商業(yè)邏輯的重構(gòu)。Cloudflare近年持續(xù)升級反爬蟲技術(shù)，其2025年推出的"AI誘捕系統(tǒng)"可通過生成無限垃圾數(shù)據(jù)消耗非法爬蟲資源。而要求AI付費(fèi)訪問的提議，則源于對流量價(jià)值重新分配的思考——當(dāng)AI企業(yè)通過聚合網(wǎng)站內(nèi)容獲利時(shí)，原始創(chuàng)作者理應(yīng)獲得補(bǔ)償。這種思路與Sam Altman提出的眼球掃描認(rèn)證方案形成對比，后者因涉及生物信息采集引發(fā)爭議，而開放標(biāo)準(zhǔn)路徑被認(rèn)為更具可行性。

盡管標(biāo)準(zhǔn)推廣面臨挑戰(zhàn)，但行業(yè)共識正在形成。GoDaddy技術(shù)團(tuán)隊(duì)表示，ANS注冊表已吸引多家AI初創(chuàng)公司參與測試，而Web Bot Auth的加密簽名方案正與W3C標(biāo)準(zhǔn)組織協(xié)商納入推薦規(guī)范。在這場人機(jī)交互規(guī)則的重塑中，如何既保護(hù)人類創(chuàng)作者權(quán)益，又避免技術(shù)壁壘阻礙AI創(chuàng)新，將成為持續(xù)博弈的焦點(diǎn)。