亚洲精品电影在线观看_伊人精品在线_黄片毛片一级_亚洲免费影院_www.操.com_一本大道久久a久久精二百

淺談網(wǎng)站優(yōu)化robots.txt文件的寫法

作者:樂購科技 來源: 2012-02-24 09:18:04 閱讀 我要評論 直達(dá)商品

  robots.txt文件,相比朋友們都或多或少的聽說過,也可能自己已經(jīng)寫過了。其實(shí)到目前為止我本人還沒寫過robots.txt文件,不是不會(huì)寫,只是感覺博客中沒什么內(nèi)容需要阻止蜘蛛抓取的。而且想必大家也知道一個(gè)個(gè)人獨(dú)立博客中出現(xiàn)死鏈接的概率應(yīng)該是非常小的,不需要過多的進(jìn)行死鏈接處理所以我感覺沒什么必要。但是robots.txt文件寫法作為個(gè)人站長的必須掌握的技能之一,其用處還是很廣泛的。這里就詳細(xì)介紹下,也算是自己溫習(xí)溫習(xí)。

  什么是robots.txt文件

  我們從這個(gè)文件名來看,它是.txt后綴名的,大家也應(yīng)該知道這是一個(gè)文本文件,也就是記事本。robots,懂點(diǎn)英語的人應(yīng)該都人士,是機(jī)器人的意思,對我們而言這個(gè)機(jī)器人代表的就是搜索引擎機(jī)器人,從名字上就可以猜到這個(gè)文件是我們專門寫給蜘蛛看的。它的作用就是告訴蜘蛛,那些欄目或者是那些頁面不需要抓取,當(dāng)然也可以直接屏蔽掉某個(gè)蜘蛛的訪問。注意,這個(gè)文件是放在網(wǎng)站根目錄下的,這樣才能保證蜘蛛可以在第一時(shí)間讀取文件內(nèi)容。

  robots文件的作用

  其實(shí)robots文件最常被我們用到的就是屏蔽網(wǎng)站內(nèi)的死鏈接。大家應(yīng)該知道一個(gè)網(wǎng)站死鏈接多了會(huì)影響網(wǎng)站的權(quán)重。但是網(wǎng)站死鏈接清理雖然說不上是麻煩,還是需要花上不少時(shí)間的,特別是如果站內(nèi)死鏈接較多的情況下,清理起來很費(fèi)勁,這時(shí)候robots文件的用處就體現(xiàn)出來了,我們可以直接將這些死鏈接按照格式寫入文件中阻止蜘蛛抓取,想清理的或以后在慢慢清理。有些網(wǎng)站內(nèi)容中包含一些站長不想讓蜘蛛抓取的url或文件,也可以直接屏蔽。對于屏蔽蜘蛛,用到的一般都比較少。

  robots文件的寫法

  這一點(diǎn)應(yīng)該是比較重要的了。如果寫錯(cuò)了想屏蔽的沒成功,想被抓取的卻寫進(jìn)去自己不能及時(shí)發(fā)現(xiàn)可就虧大了。首先我們要知道兩個(gè)標(biāo)簽,Allow和Disallow,一個(gè)是允許,一個(gè)是不允許,它的作用相比大家也都能理解。

  User-agent: *

  Disallow:

  或者

  User-agent: *

  Allow:

  這兩段內(nèi)容表示的都是允許抓取所有,實(shí)際上屏蔽url和文件用到的是Disallow標(biāo)簽,除非你的網(wǎng)站只有幾條想要被抓取采用Allow標(biāo)簽。這個(gè)User-agent:后面跟的就是蜘蛛名稱,大家對主流的搜索引擎蜘蛛名稱應(yīng)該比較熟悉。下面以搜搜蜘蛛為例:Sosospider。

  當(dāng)我們想屏蔽搜搜蜘蛛的時(shí)候:

  User-agent: sosospider

  Disallow: /

  大家可以發(fā)現(xiàn)這個(gè)屏蔽蜘蛛跟上面允許相比只是多了一個(gè)“/”,其含義就起了翻天覆地的變化,所以在書寫的時(shí)候要千萬注意,可不能因?yàn)槎鄬憘(gè)斜杠屏蔽了蜘蛛自己卻不知道。還有就是在user-agent:后邊不屑固定蜘蛛名稱跟的如果是“*”表示是針對所有蜘蛛的。

  禁止某個(gè)目錄被搜索引擎蜘蛛抓取,設(shè)置代碼如下:

  User-agent: *

  Disallow: /目錄/

  注意,這里如果是阻止抓取某目錄的話目錄名字一定要注意“/”,不帶“/”表示的是阻止訪問這個(gè)目錄頁面和目錄下的頁面,而帶上“/”則表示進(jìn)阻止目錄下的內(nèi)容頁面,這兩點(diǎn)要分清楚。如果是想屏蔽多個(gè)目錄就需要采用

  User-agent: *

  Disallow: /目錄1/

  Disallow: /目錄2/

  這樣的形式,不能采用 /目錄1/目錄2/ 這樣的形式。

  如果是阻止蜘蛛訪問某一類型的文件,例如阻止抓取.jpg格式的圖片可以設(shè)置成:

  User-agent: *

  Disallow: .jpg$

  以上是上海seo小馬針對整個(gè)網(wǎng)站的robots文件的寫法,只是講的robots寫法的類型和注意事項(xiàng),像針對性屏蔽蜘蛛或者是其他的具體寫法描述的少了點(diǎn),但是知道allow和disallow的含義進(jìn)行思考可以衍生出不少其他的寫法含義。還有針對具體網(wǎng)頁的robots meta網(wǎng)頁標(biāo)簽寫法,不過一般情況下用的不是很多。

  以上由上海seo小馬http://www.mjlseo.com/整理,轉(zhuǎn)載請注明,謝謝


  推薦閱讀

  淡定面對網(wǎng)站快照回檔帶來的不利影響(一)

我們在網(wǎng)站優(yōu)化過程中,或多或少都會(huì)遇到快照回檔的問題。通常,網(wǎng)站的快照是衡量一個(gè)網(wǎng)站權(quán)重高低的標(biāo)準(zhǔn),但這并不是決定性的因素。影響網(wǎng)站好壞的還有網(wǎng)站收錄量和PR值。人們在尋找友情鏈接的時(shí)候通常都是看網(wǎng)站的>>>詳細(xì)閱讀


本文標(biāo)題:淺談網(wǎng)站優(yōu)化robots.txt文件的寫法

地址:http://www.zcgs360.cn/a/34/20120224/33996.html

樂購科技部分新聞及文章轉(zhuǎn)載自互聯(lián)網(wǎng),供讀者交流和學(xué)習(xí),若有涉及作者版權(quán)等問題請及時(shí)與我們聯(lián)系,以便更正、刪除或按規(guī)定辦理。感謝所有提供資訊的網(wǎng)站,歡迎各類媒體與樂購科技進(jìn)行文章共享合作。

網(wǎng)友點(diǎn)評
我的評論: 人參與評論
驗(yàn)證碼: 匿名回答
網(wǎng)友評論(點(diǎn)擊查看更多條評論)
友情提示: 登錄后發(fā)表評論,可以直接從評論中的用戶名進(jìn)入您的個(gè)人空間,讓更多網(wǎng)友認(rèn)識您。
自媒體專欄

評論

熱度

主站蜘蛛池模板: 特一级毛片 | 中文在线免费观看 | 成人国产精品一区二区毛片在线 | 色网站在线免费观看 | 久久成人激情视频 | 国产黄色免费网站 | 亚洲成人综合网站 | 在线a毛片免费视频观看 | 久久久成人动漫 | 欧美亚洲国产一区二区三区 | 性aaa| 成年男女免费视频 | 久久91精品国产91久久yfo | 国内精品伊人久久久久网站 | 欧美扩阴视频 | 中国成人在线视频 | 久久久久久久久久91 | 在线观看91精品 | 二区视频| 香蕉久久久久久 | 日韩av片在线播放 | 国产日本在线播放 | 国产精品一区二区三区在线 | 婷婷中文字幕一区二区三区 | 成人午夜天堂 | cosplay裸体福利写真 | 久久精品视频黄色 | 91在线视频福利 | 欧美一级在线看 | 香蕉久久久久 | 中文字幕在线看第二 | 日本成年网 | 久久毛片 | 日本黄色免费播放 | 毛片免 | 久久人人av| 精品亚洲综合 | 亚洲精品av在线 | 91在线色| 91精彩在线| 人人舔人人射 |