亚洲精品电影在线观看_伊人精品在线_黄片毛片一级_亚洲免费影院_www.操.com_一本大道久久a久久精二百

淺談網(wǎng)站優(yōu)化robots.txt文件的寫法

作者:樂購科技 來源: 2012-02-24 09:18:04 閱讀 我要評論 直達(dá)商品

  robots.txt文件,相比朋友們都或多或少的聽說過,也可能自己已經(jīng)寫過了。其實(shí)到目前為止我本人還沒寫過robots.txt文件,不是不會(huì)寫,只是感覺博客中沒什么內(nèi)容需要阻止蜘蛛抓取的。而且想必大家也知道一個(gè)個(gè)人獨(dú)立博客中出現(xiàn)死鏈接的概率應(yīng)該是非常小的,不需要過多的進(jìn)行死鏈接處理所以我感覺沒什么必要。但是robots.txt文件寫法作為個(gè)人站長的必須掌握的技能之一,其用處還是很廣泛的。這里就詳細(xì)介紹下,也算是自己溫習(xí)溫習(xí)。

  什么是robots.txt文件

  我們從這個(gè)文件名來看,它是.txt后綴名的,大家也應(yīng)該知道這是一個(gè)文本文件,也就是記事本。robots,懂點(diǎn)英語的人應(yīng)該都人士,是機(jī)器人的意思,對我們而言這個(gè)機(jī)器人代表的就是搜索引擎機(jī)器人,從名字上就可以猜到這個(gè)文件是我們專門寫給蜘蛛看的。它的作用就是告訴蜘蛛,那些欄目或者是那些頁面不需要抓取,當(dāng)然也可以直接屏蔽掉某個(gè)蜘蛛的訪問。注意,這個(gè)文件是放在網(wǎng)站根目錄下的,這樣才能保證蜘蛛可以在第一時(shí)間讀取文件內(nèi)容。

  robots文件的作用

  其實(shí)robots文件最常被我們用到的就是屏蔽網(wǎng)站內(nèi)的死鏈接。大家應(yīng)該知道一個(gè)網(wǎng)站死鏈接多了會(huì)影響網(wǎng)站的權(quán)重。但是網(wǎng)站死鏈接清理雖然說不上是麻煩,還是需要花上不少時(shí)間的,特別是如果站內(nèi)死鏈接較多的情況下,清理起來很費(fèi)勁,這時(shí)候robots文件的用處就體現(xiàn)出來了,我們可以直接將這些死鏈接按照格式寫入文件中阻止蜘蛛抓取,想清理的或以后在慢慢清理。有些網(wǎng)站內(nèi)容中包含一些站長不想讓蜘蛛抓取的url或文件,也可以直接屏蔽。對于屏蔽蜘蛛,用到的一般都比較少。

  robots文件的寫法

  這一點(diǎn)應(yīng)該是比較重要的了。如果寫錯(cuò)了想屏蔽的沒成功,想被抓取的卻寫進(jìn)去自己不能及時(shí)發(fā)現(xiàn)可就虧大了。首先我們要知道兩個(gè)標(biāo)簽,Allow和Disallow,一個(gè)是允許,一個(gè)是不允許,它的作用相比大家也都能理解。

  User-agent: *

  Disallow:

  或者

  User-agent: *

  Allow:

  這兩段內(nèi)容表示的都是允許抓取所有,實(shí)際上屏蔽url和文件用到的是Disallow標(biāo)簽,除非你的網(wǎng)站只有幾條想要被抓取采用Allow標(biāo)簽。這個(gè)User-agent:后面跟的就是蜘蛛名稱,大家對主流的搜索引擎蜘蛛名稱應(yīng)該比較熟悉。下面以搜搜蜘蛛為例:Sosospider。

  當(dāng)我們想屏蔽搜搜蜘蛛的時(shí)候:

  User-agent: sosospider

  Disallow: /

  大家可以發(fā)現(xiàn)這個(gè)屏蔽蜘蛛跟上面允許相比只是多了一個(gè)“/”,其含義就起了翻天覆地的變化,所以在書寫的時(shí)候要千萬注意,可不能因?yàn)槎鄬憘(gè)斜杠屏蔽了蜘蛛自己卻不知道。還有就是在user-agent:后邊不屑固定蜘蛛名稱跟的如果是“*”表示是針對所有蜘蛛的。

  禁止某個(gè)目錄被搜索引擎蜘蛛抓取,設(shè)置代碼如下:

  User-agent: *

  Disallow: /目錄/

  注意,這里如果是阻止抓取某目錄的話目錄名字一定要注意“/”,不帶“/”表示的是阻止訪問這個(gè)目錄頁面和目錄下的頁面,而帶上“/”則表示進(jìn)阻止目錄下的內(nèi)容頁面,這兩點(diǎn)要分清楚。如果是想屏蔽多個(gè)目錄就需要采用

  User-agent: *

  Disallow: /目錄1/

  Disallow: /目錄2/

  這樣的形式,不能采用 /目錄1/目錄2/ 這樣的形式。

  如果是阻止蜘蛛訪問某一類型的文件,例如阻止抓取.jpg格式的圖片可以設(shè)置成:

  User-agent: *

  Disallow: .jpg$

  以上是上海seo小馬針對整個(gè)網(wǎng)站的robots文件的寫法,只是講的robots寫法的類型和注意事項(xiàng),像針對性屏蔽蜘蛛或者是其他的具體寫法描述的少了點(diǎn),但是知道allow和disallow的含義進(jìn)行思考可以衍生出不少其他的寫法含義。還有針對具體網(wǎng)頁的robots meta網(wǎng)頁標(biāo)簽寫法,不過一般情況下用的不是很多。

  以上由上海seo小馬http://www.mjlseo.com/整理,轉(zhuǎn)載請注明,謝謝


  推薦閱讀

  淡定面對網(wǎng)站快照回檔帶來的不利影響(一)

我們在網(wǎng)站優(yōu)化過程中,或多或少都會(huì)遇到快照回檔的問題。通常,網(wǎng)站的快照是衡量一個(gè)網(wǎng)站權(quán)重高低的標(biāo)準(zhǔn),但這并不是決定性的因素。影響網(wǎng)站好壞的還有網(wǎng)站收錄量和PR值。人們在尋找友情鏈接的時(shí)候通常都是看網(wǎng)站的>>>詳細(xì)閱讀


本文標(biāo)題:淺談網(wǎng)站優(yōu)化robots.txt文件的寫法

地址:http://www.zcgs360.cn/a/34/20120224/33996.html

樂購科技部分新聞及文章轉(zhuǎn)載自互聯(lián)網(wǎng),供讀者交流和學(xué)習(xí),若有涉及作者版權(quán)等問題請及時(shí)與我們聯(lián)系,以便更正、刪除或按規(guī)定辦理。感謝所有提供資訊的網(wǎng)站,歡迎各類媒體與樂購科技進(jìn)行文章共享合作。

網(wǎng)友點(diǎn)評
我的評論: 人參與評論
驗(yàn)證碼: 匿名回答
網(wǎng)友評論(點(diǎn)擊查看更多條評論)
友情提示: 登錄后發(fā)表評論,可以直接從評論中的用戶名進(jìn)入您的個(gè)人空間,讓更多網(wǎng)友認(rèn)識您。
自媒體專欄

評論

熱度

主站蜘蛛池模板: 在线观看网址av | 一区二区三区四区国产 | 色播av在线| 欧美性视频一区二区 | 87成人免费看片 | 看片一区二区三区 | 亚洲一区二区观看播放 | 国产成人av免费看 | 亚欧在线免费观看 | 国产一区不卡 | 免费大香伊蕉在人线国产 | 成人18网站 | 羞羞视频免费入口网站 | 欧美性色黄大片www 成人免费网站在线观看 | 黄视频免费在线观看 | av电影院在线观看 | 成年人性视频 | 久久人人爽人人爽人人片av免费 | 性欧美极品xxxx欧美一区二区 | 欧美一级久久 | 国产精品www | 成人精品久久 | 成av人在线观看 | 国产污污视频 | 欧美成人三级视频 | 91成人久久 | 精品一区二区亚洲 | 国产精品亚洲一区二区三区在线观看 | 在线观看国产一区二区三区 | 北京一级毛片 | xxxxhdvideosex| 久久精品视频12 | 国产视频在线观看免费 | 欧美日韩国产成人在线 | 激情小说激情图片激情电影 | 久草欧美 | 成人毛片一区 | 成人小视频在线播放 | 成人性爱视频在线观看 | 又黄又爽免费无遮挡在线观看 | 香蕉久久久久 |