一、抓取異常是什么

Baiduspider無法正常抓取，就是抓取異常，對于大量內(nèi)容無法正常抓取的網(wǎng)站，搜索引擎會認(rèn)為網(wǎng)站存在用戶體驗(yàn)上的缺陷，并降低對網(wǎng)站的評價(jià)，在抓取、索引、權(quán)重上都會受到一定程度的負(fù)面影響，最終影響到網(wǎng)站從百度獲取的流量。

二、百度抓取異常的入口

登陸百度搜索資源平臺，然后從" 搜索服務(wù)"找到" 抓取異常"點(diǎn)擊進(jìn)入，百度抓取異常工具入口鏈接為：https://ziyuan.baidu.com/crawl/index。

*百度抓取異常工具截圖

百度抓取異常工具目前給出了服務(wù)器錯(cuò)誤、訪問被拒絕、找不到頁面、其他錯(cuò)誤共四類錯(cuò)誤原因，可分別點(diǎn)擊查看具體抓取錯(cuò)誤的時(shí)間、數(shù)量以及鏈接等。通過錯(cuò)誤網(wǎng)址進(jìn)行查看與分析，確認(rèn)頁面的訪問情況是否正常，從而查找出錯(cuò)的原因。

*404錯(cuò)誤鏈接異常查看示例

注意："鏈接異常"僅顯示前1000條存在錯(cuò)誤的網(wǎng)址，百度已對"找不到頁面"進(jìn)行死鏈屏蔽，站長無需再手動提交。

三、百度抓取異常的原因

1、網(wǎng)站異常的原因

(1)、dns異常

當(dāng)Baiduspider無法解析您網(wǎng)站的IP時(shí)，會出現(xiàn)DNS異常。可能是您的網(wǎng)站IP地址錯(cuò)誤，或者域名服務(wù)商把Baiduspider封禁。請使用WHOIS或者h(yuǎn)ost查詢自己網(wǎng)站IP地址是否正確且可解析，如果不正確或無法解析，請與域名注冊商聯(lián)系，更新您的IP地址。

(2)、連接超時(shí)

抓取請求連接超時(shí)，可能原因服務(wù)器過載，網(wǎng)絡(luò)不穩(wěn)定。

(3)、抓取超時(shí)

抓取請求連接建立后，下載頁面速度過慢，導(dǎo)致超時(shí)，可能原因服務(wù)器過載，帶寬不足。

(4)、連接錯(cuò)誤

無法連接或者連接建立后對方服務(wù)器拒絕。

2、鏈接異常的原因

(1)、訪問被拒絕

爬蟲發(fā)起抓取，httpcode返回碼是403。

(2)、找不到頁面

爬蟲發(fā)起抓取，httpcode返回碼是404。

協(xié)議死鏈，表示用戶已無法訪問該頁面內(nèi)容，建議通過百度站長平臺--死鏈工具提交死鏈的方式進(jìn)行處理，以便搜索引擎更快地發(fā)現(xiàn)死鏈接，減少死鏈接對用戶以及搜索引擎造成的負(fù)面影響。

(3)、服務(wù)器錯(cuò)誤

爬蟲發(fā)起抓取，httpcode返回碼是5XX。

(4)、其他錯(cuò)誤

爬蟲發(fā)起抓取，httpcode返回碼是4XX，不包括403和404。

四、百度抓取異常的影響

1、主動封禁百度蜘蛛抓取

站長由于站點(diǎn)承受壓力問題或者其他原因您選擇了禁止百度蜘蛛的抓取。如果站長的配置正確，并且DNS更新并生效后，百度的蜘蛛就不會對該站點(diǎn)的頁面進(jìn)行抓取，網(wǎng)站的頁面也不會被收錄。

2、被動出現(xiàn)的抓取異常

對于大量內(nèi)容無法正常抓取的網(wǎng)站，搜索引擎會認(rèn)為網(wǎng)站存在用戶體驗(yàn)上的缺陷，并降低對網(wǎng)站的評價(jià)，在抓取、索引、權(quán)重上都會受到一定程度的負(fù)面影響，最終影響到網(wǎng)站從百度獲取的流量。

五、抓取異常常見問答

1、什么是死鏈

頁面已經(jīng)無效，無法對用戶提供任何有價(jià)值信息的頁面就是死鏈接，包括協(xié)議死鏈和內(nèi)容死鏈兩種形式。

協(xié)議死鏈：頁面的TCP協(xié)議狀態(tài)/HTTP協(xié)議狀態(tài)明確表示的死鏈，常見的如404、403、503狀態(tài)等。

內(nèi)容死鏈：服務(wù)器返回狀態(tài)是正常的，但內(nèi)容已經(jīng)變更為不存在、已刪除或需要權(quán)限等與原內(nèi)容無關(guān)的信息頁面。

對于死鏈，建議及時(shí)修復(fù)死鏈數(shù)據(jù)，或進(jìn)行死鏈數(shù)據(jù)推送，以便搜索引擎更快地發(fā)現(xiàn)死鏈，減少死鏈對用戶以及搜索引擎的影響。

2、什么是IP禁封

限制網(wǎng)絡(luò)的出口IP地址，禁止該IP段的使用者進(jìn)行內(nèi)容訪問，即為IP禁封。

3、什么是UA禁封

UA即為用戶代理（User-Agent），服務(wù)器通過UA識別訪問者的身份。當(dāng)網(wǎng)站針對指定UA的訪問，返回異常頁面（如403，500）或跳轉(zhuǎn)到其他頁面的情況，即為UA禁封。 

4、什么是異常重定向

將網(wǎng)絡(luò)請求重新指向其他位置即為重定向。常見的重定向有兩種：永久重定向（301跳轉(zhuǎn)協(xié)議）和暫時(shí)重定向（302跳轉(zhuǎn)協(xié)議），目前百度都可以識別和支持。對于長時(shí)間跳轉(zhuǎn)到其他域名的情況，如網(wǎng)站更換域名，建議您使用301跳轉(zhuǎn)協(xié)議。

5、還有哪些其他異常

針對百度refer的作弊：網(wǎng)頁針對來自百度的refer返回不同于正常內(nèi)容的行為。

針對百度ua的作弊：網(wǎng)頁對百度UA返回不同于頁面原內(nèi)容的行為。

JS跳轉(zhuǎn)作弊：網(wǎng)頁加載了百度無法識別的JS跳轉(zhuǎn)代碼，使得用戶通過搜索結(jié)果進(jìn)入頁面后發(fā)生了跳轉(zhuǎn)的情況。

壓力過大引起的偶然禁封：百度會根據(jù)站點(diǎn)的規(guī)模，訪問量等信息，自動設(shè)定一個(gè)合理的抓取壓力。但是在異常情況下，如壓力控制失常時(shí)，服務(wù)器會根據(jù)自身負(fù)荷進(jìn)行保護(hù)性的偶然封禁。這種情況下，請?jiān)诜祷卮a中返回503(其含義是  "Service Unavailable")，百度蜘蛛會過段時(shí)間再來嘗試抓取這個(gè)鏈接，如果網(wǎng)站已空閑，則會被成功抓取。

總結(jié)

優(yōu)化猩SEO：網(wǎng)站如果出現(xiàn)抓取異常的鏈接，訪問網(wǎng)站的用戶不僅沒有辦法瀏覽想看的內(nèi)容，大大降低用戶體驗(yàn)，還會讓搜索引擎認(rèn)為網(wǎng)站質(zhì)量不高，從而降低對網(wǎng)站的評價(jià)，所以網(wǎng)站出現(xiàn)抓取異常一定要及時(shí)排查問題并進(jìn)行優(yōu)化。

參考鏈接：

平臺工具使用手冊_抓取異常_百度搜索資源平臺

https://ziyuan.baidu.com/college/courseinfo?id=267&page=9

站點(diǎn)抓取異常查詢工具_(dá)百度搜索資源平臺

https://ziyuan.baidu.com/wiki/45

抓取異常問答_搜索資訊_百度搜索資源平臺

https://ziyuan.baidu.com/wiki/32

修改于2023-05-30