小紅書禁止所有搜索引擎抓取其內(nèi)容 所以只能通過(guò)站內(nèi)手動(dòng)搜索了 – 藍(lán)點(diǎn)網(wǎng)
百度搜索目前已經(jīng)收錄小紅書網(wǎng)站上 7 億 9807 萬(wàn)個(gè)網(wǎng)頁(yè)，小紅谷歌則只索引了小紅書網(wǎng)站的書禁索引所只索藍(lán)首頁(yè)，為什么呢？有搜深圳外圍美女（電話微信181-8279-1445）提供頂級(jí)外圍，空姐，網(wǎng)紅，明星，車模等優(yōu)質(zhì)資源，可滿足你的一切要求因?yàn)樾〖t書早已禁止所有搜索引擎抓取小紅書的內(nèi)容。
藍(lán)點(diǎn)網(wǎng)接到網(wǎng)友提醒稱小紅書的擎抓 robots.txt 文件已經(jīng)明確禁止所有搜索引擎抓取內(nèi)容，不過(guò)藍(lán)點(diǎn)網(wǎng)檢索后發(fā)現(xiàn)實(shí)際上小紅書是內(nèi)容能通內(nèi)手在 2023 年 4 月 2 日修改 robots.txt 文件的，轉(zhuǎn)眼間這都修改了 1 年。過(guò)站
目前并不清楚小紅書為什么禁止搜索引擎抓取內(nèi)容，動(dòng)搜點(diǎn)網(wǎng)從 SEO 角度來(lái)說(shuō)，小紅允許搜索引擎抓取有助于給小紅書帶來(lái)更多流量，書禁索引所只索藍(lán)畢竟現(xiàn)在百度都索引了 7 億多個(gè)網(wǎng)頁(yè)。有搜深圳外圍美女（電話微信181-8279-1445）提供頂級(jí)外圍，空姐，網(wǎng)紅，明星，車模等優(yōu)質(zhì)資源，可滿足你的一切要求
而且小紅書是擎抓去年 4 月修改的，所以估計(jì)也不是內(nèi)容能通內(nèi)手因?yàn)榉乐贡蛔ト?nèi)容訓(xùn)練 AI 吧？但小紅書目前的內(nèi)容庫(kù)拿去訓(xùn)練 AI 確實(shí)很有價(jià)值，畢竟巨量文字和圖片內(nèi)容。過(guò)站
不過(guò) robots.txt 文件只是動(dòng)搜點(diǎn)網(wǎng)君子協(xié)定，屬于防君子不妨小人的小紅那種，除了會(huì)導(dǎo)致用戶無(wú)法從搜索引擎直接查詢小紅書內(nèi)容外，其實(shí)幫助也不大，畢竟其他非搜索引擎的爬蟲也會(huì)繼續(xù)抓取內(nèi)容，小紅書肯定也做了反爬措施了。
現(xiàn)在國(guó)內(nèi)的網(wǎng)站禁止搜索引擎抓取已經(jīng)是個(gè)很常見(jiàn)的事情，或者專門預(yù)留一些層級(jí)目錄供搜索引擎抓取想要獲得一些流量，更有甚者甚至別說(shuō)搜索引擎了，就連正常的用戶訪問(wèn)也會(huì)被攔截，必須注冊(cè)賬號(hào)登錄后才能繼續(xù)訪問(wèn)，這顯然不是一個(gè)好事情。
附小紅書 2023 年 4 月 2 日的 robots.txt 信息：
User-agent:GooglebotAllow:/discovery/item/Allow:/explore/Allow:/sitemap.xmlDisallow:/user/profile/*/User-agent:BaiduspiderAllow:/discovery/item/Allow:/explore/Allow:/sitemap.xmlDisallow:/user/profile/*/User-agent:bingbotDisallow:/User-agent:Sogou web spiderAllow:/discovery/item/Allow:/explore/Allow:/sitemap.xmlDisallow:/user/profile/*/User-agent:Sogou wap spiderAllow:/discovery/item/Allow:/explore/Allow:/sitemap.xmlDisallow:/user/profile/*/User-agent:YisouSpiderDisallow:/User-agent:BaiduSpider-adsAllow:/activity/sem/kratosAllow:/activity/sem/walleUser-agent:*Disallow:/
下面是小紅書最新的 robots.txt 信息：
User-agent:GooglebotDisallow:/User-agent:BaiduspiderDisallow:/User-agent:bingbotDisallow:/User-agent:Sogou web spiderDisallow:/User-agent:Sogou wap spiderDisallow:/User-agent:YisouSpiderDisallow:/User-agent:BaiduSpider-adsDisallow:/User-agent:*Disallow:/
