網站內容能不能拿去訓練 AI 模型，終於有了比較一致的表態方式。Google、OpenAI 等四大 AI 業者宣布支援共通的 AI 訓練偏好訊號，網站經營者可以在 robots.txt 中用統一的語法，聲明是否允許內容用於模型訓練，不必再逐一辨識並封鎖各家爬蟲。對擁有官網、產品文件、知識庫或部落格的企業來說，這是重新檢視數位內容政策的時機。

過去的困境

robots.txt 是網站用來告訴搜尋引擎與爬蟲哪些頁面可以存取的標準檔案，已有數十年歷史。生成式 AI 興起後，各家 AI 業者推出各自的爬蟲，網站若要拒絕內容被用於訓練，只能把爬蟲名稱一一列出來封鎖。這種做法不僅繁瑣，也容易漏掉新出現的爬蟲，網站經營者很難有效掌握自己的內容會被怎麼使用。

搜尋曝光與訓練授權可以分開處理

共通訊號最重要的意義，是讓「允許被搜尋引擎索引」與「允許被用於 AI 訓練」成為兩件可以分開決定的事。許多企業希望官網持續出現在搜尋結果中，卻不願意自家撰寫的技術文章、產品說明或研究內容被無償拿去訓練商業模型。過去這兩件事很難切割，現在有了比較清楚的工具。對缺乏議價能力的中小型網站來說，統一的訊號也讓它們能明確表達立場。

仍有限制

robots.txt 本質上是業者自律的約定，技術上沒有強制力，是否遵守取決於爬蟲業者本身。四大業者支援具有指標意義，但其他 AI 公司與資料蒐集業者是否跟進，仍會影響實際效果。此外，已經被拿去訓練的既有內容，不會因為新的設定而被移除。業界普遍認為，這項機制將來是否會發展成具法律效力的標準，值得持續觀察。

對台灣企業的影響

  • 由行銷、法務與 IT 部門共同訂定公司網站內容的 AI 訓練政策，區分哪些內容樂意讓 AI 引用以擴大曝光、哪些是需要保護的專業知識。
  • 檢查現有 robots.txt 設定，確認沒有因為封鎖 AI 爬蟲而影響搜尋引擎索引，並在共通語法可以使用後統一改寫規則。
  • 高價值或機密性較高的內容不能只靠 robots.txt，仍需搭配登入權限、存取控管等技術措施保護。
  • 企業若也需要爬取外部網站資料，應同樣尊重對方的訓練偏好設定，降低未來的法律與商譽風險。