一、HTTP的錯(cuò)誤
“抓取錯(cuò)誤”是 Google網(wǎng)站打點(diǎn)員工具(Webmaster Tools)中最受接待的工具之一。它可以輔佐你搜檢錯(cuò)誤的鏈接，不僅僅是URL鏈接，還劣行DNS解析失蹤敗、處事器鏈接、robots.txt 文件等問題，幾乎所有網(wǎng)站城市呈現(xiàn)狀取錯(cuò)誤。
網(wǎng) 站站長工具將錯(cuò)誤分為兩類：網(wǎng)站錯(cuò)誤(site errors)和鏈接地址錯(cuò)誤(URL errors)。如不美觀在一個(gè)網(wǎng)站上呈現(xiàn)多個(gè)抓取錯(cuò)誤，那么你的網(wǎng)站信賴度會(huì)下降，甚至?xí)绊懙脚琶�，�?dāng)然這工具對(duì)于百度優(yōu)化同樣有用。那么理當(dāng)若何解決 Google網(wǎng)站打點(diǎn)員工具的抓取錯(cuò)誤呢。
經(jīng)由過程Googlebot抓取的錯(cuò)誤分類就看知道是什么導(dǎo)致抓取錯(cuò)誤的原因了。
當(dāng)一個(gè)網(wǎng)站上的網(wǎng)頁(例如，當(dāng)用戶在瀏覽器中訪謁您的網(wǎng)頁或Googlebot抓取頁面時(shí))到您的處事器發(fā)出請(qǐng)求，處事器返回HTTP狀況碼響應(yīng)請(qǐng)求。
如不美觀呈現(xiàn)403狀況，可以不用理睬，這剖明是你的主機(jī)阻止了Googlebot抓取。對(duì)于所有HTTP狀況碼的列表文件，可以參考Google HTTP狀況碼輔佐頁面。
2：改變了網(wǎng)頁的名稱;
二、Sitemap中的錯(cuò)誤
Sitemap錯(cuò)誤往往會(huì)造成404錯(cuò)誤頁面，或在當(dāng)前地圖返回一個(gè)404錯(cuò)誤頁面，如不美觀呈現(xiàn)404錯(cuò)誤頁面請(qǐng)搜檢Sitemap中所有的鏈接，
Google會(huì)不竭抓取你已山河除的Sitemap，這點(diǎn)很郁悶，但也有法子解決：確保舊的Sitemap已經(jīng)在打點(diǎn)員工具中被刪除。如不美觀不想被抓取，確保舊Sitemap呈現(xiàn)404或者年夜頭定向到新的Sitemap。
來自Google員工Susan Moskwa詮釋道：
阻止Googlebot的爬行，最好的法子是使這些網(wǎng)址(例如舊的sitemaps)呈現(xiàn)404，當(dāng)我們看到一個(gè)URL多次呈現(xiàn)404后，Googlebot會(huì)遏制爬行。
三、重定向錯(cuò)誤
1：DNS超時(shí)，可以使用Nslookup 呼吁檢測(cè)DNS，呈現(xiàn)DNS超時(shí)最年夜的身分是域名處事商的DNS處事器不不變。
有些錯(cuò)誤是因?yàn)?01年夜定向引起的，執(zhí)行重定向后要注重什么：
1：確保他們返回到正確的HTTP狀況碼。
2：確保沒有任何輪回重定向。
3：確保重定向指向有用的網(wǎng)頁，而不是404頁，或其他錯(cuò)誤頁，如503(處事器錯(cuò)誤)或403(禁止抓取)
4：確保重定向不是指向一個(gè)空頁面。
四、404錯(cuò)誤
404錯(cuò)誤可能會(huì)呈此刻以下幾個(gè)方面：
1：刪除了網(wǎng)站上的網(wǎng)頁;
4：鏈接到了一個(gè)不存在的頁面;
5：其他網(wǎng)站鏈接到你網(wǎng)站上一個(gè)不存在的頁面;
6：網(wǎng)站遷移到一個(gè)新的域名不完全匹配的網(wǎng)站。
五、受robots.txt限制
還有一個(gè)原因是robots.txt文件阻止了Googlebot的抓取，如不美觀呈現(xiàn)年夜量抓取錯(cuò)誤，第一步應(yīng)該搜檢robots.txt
六、軟404錯(cuò)誤
通 常情形下，當(dāng)有人請(qǐng)求的頁面不存在，處事器將返回一個(gè)404(未找到)錯(cuò)誤。除了在響應(yīng)請(qǐng)求的頁面不存在返回404代碼，處事器也將顯示一個(gè)404頁。 這可能是一個(gè)尺度的“未找到文件”的動(dòng)靜，或旨在供給更多信息的用戶，它可能是一個(gè)自界說頁面。 頁的內(nèi)容是由處事器返回的HTTP響應(yīng)完全無關(guān)。僅僅因?yàn)橐粋�(gè)頁面顯示404文件未找到動(dòng)靜并不意味著它是一個(gè)404頁。
七、超時(shí)
2：網(wǎng)址超時(shí)，在某一個(gè)特定頁面，而不是整個(gè)域的錯(cuò)誤。
3：robots.txt超時(shí)，如不美觀你網(wǎng)站有robots.txt，但處事器超時(shí)，Googlebot會(huì)假定該文件不存在。
網(wǎng)站超時(shí)也是呈現(xiàn)狀取錯(cuò)誤的原因之一，如不美觀呈現(xiàn)超時(shí)現(xiàn)象，Googlebot會(huì)遏制抓取。超時(shí)的錯(cuò)誤類型有：
4：動(dòng)態(tài)網(wǎng)頁的響應(yīng)時(shí)刻過長而造成網(wǎng)頁載入時(shí)刻過長。
文章來歷：盧松松博客 本文地址：http://lusongsong.com/reed/479.html
網(wǎng)友點(diǎn)評(píng)
精彩導(dǎo)讀
科技快報(bào)
品牌展示