robots.txt怎麽寫

相信大(dà)部分(fēn)人聽(tīng)了robots.txt文件都會一(yī)臉懵，沒有聽(tīng)說過，也沒有接觸過。所以當需要用到的時候就開(kāi)始慌亂，各種找案例去(qù)了解。下(xià)面文章内容就爲大(dà)家簡單介紹一(yī)下(xià)robots.txt怎麽寫，希望能夠幫助到大(dà)家。

什麽是robots.txt文件

我(wǒ)(wǒ)們從這個文件名來看，它是.txt後綴名的，大(dà)家也應該知(zhī)道這是一(yī)個文本文件，也就是記事本。seo優化技巧搜索引擎根據一(yī)定的策略、運用特定的計算機程序從互聯網上搜集信息，在對信息進行組織和處理後，爲用戶提供檢索服務，将用戶檢索相關的信息展示給用戶的系統。學習搜索引擎優化SEO，必須先了解什麽是搜索引擎。搜索引擎包括全文索引、目錄索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、門戶搜索引擎與免費(fèi)鏈接列表等。robots，懂點英語的人應該都人士，是機器人的意思，對我(wǒ)(wǒ)們而言這個機器人代表的就是搜索引擎機器人，從名字上就可以猜到這個文件是我(wǒ)(wǒ)們專門寫給蜘蛛看的。它的作用就是告訴蜘蛛，那些欄目或者是那些頁面不需要抓取，當然也可以直接屏蔽掉某個蜘蛛的訪問。注意，這個文件是放(fàng)在網站根目錄下(xià)的，這樣才能保證蜘蛛可以在第一(yī)時間讀取文件内容。

robots文件的作用

其實robots文件最常被我(wǒ)(wǒ)們用到的就是屏蔽網站内的死鏈接。大(dà)家應該知(zhī)道一(yī)個網站死鏈接多了會影響網站的權重。但是網站死鏈接清理雖然說不上是麻煩，還是需要花上不少時間的，特别是如果站内死鏈接較多的情況下(xià)，清理起來很費(fèi)勁，這時候robots文件的用處就體(tǐ)現出來了，我(wǒ)(wǒ)們可以直接将這些死鏈接按照格式寫入文件中(zhōng)阻止蜘蛛抓取，想清理的或以後在慢(màn)慢(màn)清理。有些網站内容中(zhōng)包含一(yī)些站長不想讓蜘蛛抓取的url或文件，也可以直接屏蔽。對于屏蔽蜘蛛，用到的一(yī)般都比較少。

robots.txt怎麽寫

這一(yī)點應該是比較重要的了。如果寫錯了想屏蔽的沒成功，想被抓取的卻寫進去(qù)自己不能及時發現可就虧大(dà)了。首先我(wǒ)(wǒ)們要知(zhī)道兩個标簽，Allow和Disallow，一(yī)個是允許，一(yī)個是不允許，它的作用相比大(dà)家也都能理解。

User-agent: *

Disallow:

或者

User-agent: *

Allow:

這兩段内容表示的都是允許抓取所有，實際上屏蔽url和文件用到的是Disallow标簽，除非你的網站隻有幾條想要被抓取采用Allow标簽。這個User-agent：後面跟的就是蜘蛛名稱，大(dà)家對主流的搜索引擎蜘蛛名稱應該比較熟悉。下(xià)面以搜搜蜘蛛爲例：Sosospider。

當我(wǒ)(wǒ)們想屏蔽搜搜蜘蛛的時候：

User-agent: sosospider

Disallow: /

大(dà)家可以發現這個屏蔽蜘蛛跟上面允許相比隻是多了一(yī)個“/”，其含義就起了翻天覆地的變化，所以在書(shū)寫的時候要千萬注意，可不能因爲多寫個斜杠屏蔽了蜘蛛自己卻不知(zhī)道。網站SEO包含站外(wài)SEO和站内SEO兩方面;SEO是指爲了從搜索引擎中(zhōng)獲得更多的免費(fèi)流量，從網站結構、内容建設方案、用戶互動傳播、頁面等角度進行合理規劃，使網站更适合搜索引擎的索引原則的行爲;使網站更适合搜索引擎的索引原則又(yòu)被稱爲對搜索引擎優化，對搜索引擎優化不僅能夠提高SEO的效果，還會使搜索引擎中(zhōng)顯示的網站相關信息對用戶來說更具有吸引力。網站SEO搜索引擎優化是一(yī)種利用搜索引擎的搜索規則來提高目前網站在有關搜索引擎内的自然排名的方式。SEO的目的理解是：爲網站提供生(shēng)态式的自我(wǒ)(wǒ)營銷解決方案，讓網站在行業内占據領先地位，從而獲得品牌收益。還有就是在user-agent：後邊不屑固定蜘蛛名稱跟的如果是“*”表示是針對所有蜘蛛的。

禁止某個目錄被搜索引擎蜘蛛抓取，設置代碼如下(xià)：

User-agent: *

Disallow: /目錄/

注意，這裏如果是阻止抓取某目錄的話(huà)目錄名字一(yī)定要注意“/”，不帶“/”表示的是阻止訪問這個目錄頁面和目錄下(xià)的頁面，而帶上“/”則表示進阻止目錄下(xià)的内容頁面，這兩點要分(fēn)清楚。如果是想屏蔽多個目錄就需要采用

User-agent: *

Disallow: /目錄1/

Disallow: /目錄2/

這樣的形式，不能采用 /目錄1/目錄2/ 這樣的形式。

如果是阻止蜘蛛訪問某一(yī)類型的文件，例如阻止抓取.jpg格式的圖片可以設置成：

User-agent: *

Disallow: .jpg$

了解了robots.txt怎麽寫後，相信大(dà)家對此也不再陌生(shēng)。當我(wǒ)(wǒ)們在平時的工(gōng)作中(zhōng)遇到類似的問題，大(dà)家就可以通過自己的了解去(qù)進行針對性的解決。