知乎已經(jīng)完全禁止谷歌和必應(yīng)搜索抓取內(nèi)容 看起來真怕內(nèi)容被訓(xùn)練AI? – 藍(lán)點(diǎn)網(wǎng)
昨天藍(lán)點(diǎn)網(wǎng)提到知乎開始強(qiáng)制要求登錄賬號,知乎否則將禁止查看知乎問答和專欄的已經(jīng)應(yīng)搜完整內(nèi)容,之前通過腳本屏蔽知乎登錄彈窗已經(jīng)沒有意義,完全網(wǎng)成都漂亮外圍外圍上門外圍女姐上門(微信156-8194-*7106)提供1-2線城市外圍上門外圍女,真實(shí)可靠快速安排30分鐘到達(dá)因?yàn)槠帘螐棿昂笠榭磧?nèi)容還是禁止會繼續(xù)彈出登錄窗口。
為什么要強(qiáng)制用戶登錄暫時還不清楚,谷歌考慮到知乎在搜索引擎中的和必權(quán)重非常高,各大搜索引擎檢索問題時都可能看到排在前面的索抓知乎頁面,強(qiáng)制登錄將對大量用戶造成影響。取內(nèi)起
一個可能的容看容被成都漂亮外圍外圍上門外圍女姐上門(微信156-8194-*7106)提供1-2線城市外圍上門外圍女,真實(shí)可靠快速安排30分鐘到達(dá)原因是知乎不愿意自己的內(nèi)容被各大搜索引擎或其他爬蟲抓取拿去訓(xùn)練 AI 模型,現(xiàn)在強(qiáng)制登錄后想要限制抓取在技術(shù)手段上是怕內(nèi)非常容易的,比如某個用戶短時間內(nèi)訪問大量頁面,訓(xùn)練那肯定是藍(lán)點(diǎn)不正常的。

還禁止谷歌和必應(yīng)等搜索引擎:
值得注意的是,今天早上藍(lán)點(diǎn)網(wǎng)接到網(wǎng)友的已經(jīng)應(yīng)搜反饋,知乎 robots.txt 文件已經(jīng)在 4~5 月某個時候修改(具體時間可能是完全網(wǎng) 5 月 22 日,與知乎強(qiáng)制登錄時間近似),此次修改知乎僅允許百度搜索和搜狗(搜狗是新增的,之前禁止搜狗抓取內(nèi)容)抓取其內(nèi)容,不再允許其他搜索引擎內(nèi)容。
知乎在幾年前曾與百度達(dá)成合作因此在百度搜索中知乎的頁面權(quán)重非常高可以獲得更多點(diǎn)擊量,現(xiàn)在只允許百度和搜狗而禁止其他一切搜索引擎,不知道知乎是否已經(jīng)與百度達(dá)成了某些方面的協(xié)議。
目前的這種狀況是用戶在知乎發(fā)布的任何新內(nèi)容,都不會被谷歌和必應(yīng)收錄了,也就是知乎所有新內(nèi)容在谷歌和必應(yīng)上都無法再查到。
大概率還是 AI 訓(xùn)練問題:
無論是強(qiáng)制登錄還是禁止搜索引擎抓取內(nèi)容,這些操作看起來都非常像是知乎為了避免自己的內(nèi)容被抓取而拿去訓(xùn)練人工智能,這和之前埃隆馬斯克對 X/Twitter 的操作本質(zhì)上也就是類似的。
對于大型內(nèi)容網(wǎng)站來說趁著 AI 熱潮賣數(shù)據(jù)確實(shí)是個比較不錯的變現(xiàn)方式,但禁止抓取也意味著開放的互聯(lián)網(wǎng)正在逐漸走向封閉。
未來可能會有更多網(wǎng)站禁止搜索引擎或其他爬蟲抓取內(nèi)容甚至也同樣強(qiáng)制要求登錄,對互聯(lián)網(wǎng)用戶來說這肯定不是一個好消息。
附知乎此前的 robots.txt 文件:(2024-04-28)
User-agent: GooglebotDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Googlebot-ImageDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Baiduspider-newsDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: BaiduspiderDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Baiduspider-renderDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Baiduspider-imageDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: bingbotDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-Agent: *Disallow: /
最新的 robots.txt 文件(2024-05-27):
User-agent: Baiduspider-newsDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: BaiduspiderDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Baiduspider-renderDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Baiduspider-imageDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Sogou web spiderDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /tardis/sogou/Disallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-Agent: *Disallow: /
感謝網(wǎng)友 顏黎明 投遞的消息
相關(guān)文章:
- 西安附近約美女上門vx《365-2895》提供外圍女上門服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達(dá)
- 蘇州(美女上門服務(wù))上門一條龍服務(wù)vx《365-2895》提供外圍女上門服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達(dá)
- 西安蓮湖(援交)援交上門vx《365-2895》提供外圍女上門服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達(dá)
- 西安碑林外圍(洋馬)外圍vx《365-2895》提供外圍女上門服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達(dá)
- 蘇州姑蘇約炮(高質(zhì)量美女約炮)vx《365-2895》提供外圍女上門服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達(dá)
- 武漢江岸上門按摩預(yù)約電話vx《365-2895》提供外圍女上門服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達(dá)
- 天津和平怎么約小姐酒店上門vx《365-2895》提供外圍女上門服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達(dá)
- 合肥包河高級資源外圍大學(xué)生上門vx《365-2895》提供外圍女上門服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達(dá)
- 西安蓮湖怎么找98服務(wù)vx《365-2895》提供外圍女上門服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達(dá)
- 濟(jì)南歷下找小姐上門服務(wù)的辦法vx《365-2895》提供外圍女上門服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達(dá)
