作為一名網(wǎng)站優(yōu)化人員，我們都很清楚Robots.txt文件對(duì)我們網(wǎng)站的重要性，Robots.txt文件只一個(gè)純文本文件，它就像網(wǎng)站地圖一樣，給搜索引擎指明道路，當(dāng)蜘蛛搜索一個(gè)站點(diǎn)時(shí)，它首先爬行來(lái)檢查該網(wǎng)站的根目錄下是否存在Robots.txt文件。
如果存在的話，搜索引擎會(huì)按照該文件的內(nèi)容來(lái)確定訪問(wèn)范圍，如果該文件不存在的話，那么搜索引擎就會(huì)沿著鏈接來(lái)抓取。那么程序員在設(shè)置Robots.txt文件時(shí)候應(yīng)該了解到這個(gè)文件給我們網(wǎng)站帶來(lái)了哪些好處？
第一，Robots.txt文件大大節(jié)省服務(wù)器寬帶
我們都知道像email retrievers、image strippers這類搜索引擎都耗用大量寬帶，而且對(duì)網(wǎng)站沒(méi)有什么太大的意義，而通過(guò)Robots.txt就可以制止不必要的爬行工作，如果你的網(wǎng)站是圖片站的話，沒(méi)有設(shè)置好Robots.txt文件的話，就會(huì)浪費(fèi)大量的服務(wù)器寬帶。
第二、方便搜索引擎爬起工作
如果你的網(wǎng)站內(nèi)容豐富，頁(yè)面很多，設(shè)置Robots.txt文件更為重要，比如你有個(gè)網(wǎng)站，整個(gè)站有50多個(gè)G，打開(kāi)頁(yè)面可能會(huì)比較慢，如果不配置好Robots.txt文件的話，蜘蛛爬行工作就會(huì)很費(fèi)力，而且如果太多的蜘蛛爬行，以至?xí)绊懩憔W(wǎng)站的正常訪問(wèn)。
第三、robots.txt文件可以制止搜索引擎索引頁(yè)面
你可以通過(guò)RobotS.txt文件對(duì)你的網(wǎng)站非公開(kāi)頁(yè)面進(jìn)行制止蜘蛛爬行，如果你的網(wǎng)站后臺(tái)程序、管理程序很重要不想讓別人看到、那么你可以通過(guò)Robots.txt進(jìn)行設(shè)置，事實(shí)上，對(duì)于某些在運(yùn)行中產(chǎn)生臨時(shí)頁(yè)面的網(wǎng)站來(lái)說(shuō)，如果沒(méi)有配置Robots.txt文件的話，搜索引擎甚至?xí)饕切┡R時(shí)文件。
第四、robots.txt對(duì)網(wǎng)站地圖鏈接重要性
如果我們把自己的網(wǎng)站地圖鏈接放在robots.txt文件里，那么我們每天就不用到各個(gè)搜索引擎的站長(zhǎng)工具或者相似的站長(zhǎng)部分去提交自己的sitemap文件，各大搜索引擎都發(fā)布了對(duì)網(wǎng)站地圖的新的支持方式，就是在robots.txt文件里直接包括sitemap文件的鏈接。目前對(duì)此表示支持的搜索引擎公司有Google，Yahoo，而中文搜索引擎公司，顯然不在這個(gè)圈子內(nèi)。
這樣做的好處就是我們可以不用每天去各大搜索引擎去提交自己的sitemap文件，可以減少我們的一部分工作量，何樂(lè)而不為呢？
推薦閱讀
資訊中國(guó)zhgnews.com旗下新概念英語(yǔ)網(wǎng)誠(chéng)招合作伙伴
2011 年四月份，國(guó)內(nèi)知名新聞網(wǎng)站 資訊中國(guó) （ www.zhgnews.com ）旗下 新概念英語(yǔ) ( www.english-sky.com ) 首次招商合作， 新概念英語(yǔ)網(wǎng)于 2005 年 9 月建立，新概念英語(yǔ)網(wǎng)（ www.english-sky.com ）成立之初，致力>>>詳細(xì)閱讀
本文標(biāo)題：帶你進(jìn)一步認(rèn)識(shí)一下Robots.txt 給網(wǎng)站帶來(lái)了什么！
地址：http://www.zcgs360.cn/a/xie/20110426/6306.html
網(wǎng)友點(diǎn)評(píng)
精彩導(dǎo)讀
科技快報(bào)
品牌展示