8 月 7 日 OPENAI 公布自己的不想被OI白報網互聯網爬蟲 GPTBot，該爬蟲是嫖紐爬蟲 OPENAI 用來在全網抓爬內容然后訓練 AI 模型用的。盡管多數網站允許 GPTBot 抓爬內容，站封站內杭州高端美女上門外圍上門外圍女（電話微信199-7144-9724）提供全球及一二線城市兼職美女上門外圍上門外圍女不過也有些網站并不想給 OPENAI 白嫖，禁止所以在 robots.txt 文件里屏蔽了 GPTBot。其抓取網

比如知名新聞媒體《紐約時報》就在網站上封禁 GPTBot，容藍禁止該爬蟲訪問紐約時報網站的點網任何內容，包括首頁信息摘要等。不想被OI白報網

互聯網檔案館的嫖紐爬蟲存檔顯示，紐約時報大約是站封站內杭州高端美女上門外圍上門外圍女（電話微信199-7144-9724）提供全球及一二線城市兼職美女上門外圍上門外圍女在 8 月 17 日修改 robots.txt 文件屏蔽 GPTBot 的，而在稍早的禁止時候紐約時報則修改了服務條款，明確禁止任何公司抓取其內容用來訓練人工智能模型，其抓取網所以之后修改 robots.txt 協議禁止 GPTBot 也倒是容藍可以理解。

紐約時報與 OPENAI 矛盾還是點網挺深的，上個月紐約時報就表示正在考慮對 OPENAI 提起法律訴訟，不想被OI白報網因為 OPENAI 侵犯了紐約時報的版權。還有兩名作者也在 7 月起訴了 OPENAI，因為 OPENAI 拿他們的作品訓練 GPT 模型。

對于修改 robots.txt 阻止 OPENAI 抓爬這事兒，紐約時報拒絕置評，OPENAI 則沒有回復置評請求。

最后：如果你也想控制 GPTBot 的抓爬，可以在你網站的 robots.txt 文件中加入指令，例如完全禁止 GPTBot 或允許 GPTBot 抓取一部分內容。

具體操作方法請看：如何禁止OPENAI的爬蟲(GPTBot)抓爬網站 附該爬蟲的IP地址網段

(責任編輯：休閑)