<ruby id="wmvlo"><progress id="wmvlo"></progress></ruby>

  • <b id="wmvlo"><form id="wmvlo"></form></b>

    <b id="wmvlo"></b>
        1. <rt id="wmvlo"><meter id="wmvlo"></meter></rt>
          <rp id="wmvlo"><optgroup id="wmvlo"><p id="wmvlo"></p></optgroup></rp>

          中文 English

          服務咨詢熱線:18962622747

          ?

          全國技術支持:

          聯 系 人:劉小姐

          電話:18962622747

          在線咨詢:

          點擊這里給我發消息

          郵箱:win@kuaimeiad.com

          網址:www.cn-amway.com

          地址:江蘇昆山市狀元涇路9號

           

          前幾天有朋友問到網站Robot是什么?Robot干什么用的?今天快美網絡來與大家分享一下關于如何創建合適的robots.txt? 希望對廣大的朋友們有所幫助。

          當搜索引擎訪問一個網站的時候,第一步就是檢查網站的robots.txt文件,顯然這是我們seo必做的內容。在了解robots.txt文件寫法之前,我們就先要知道robot是什么?

          robot英文翻譯過來:機器人。

          Robots

           

          robots.txt文件也很好理解:搜索引擎使用spider程序自動訪問互聯網上的網頁并獲取網頁信息。robots.txt這個文件用于指定spider(蜘蛛)在您網站上的抓取范圍。

          關于robots.txt需要注意以下幾點:

          1、robots.txt文件應該放置在網站根目錄下。比如,當spider訪問http://www.cn-amway.com時,首先會檢查該網站中是否存在http://www.cn-amway.com/robots.txt這個文件,如果Spider找到這個文件,它就會根據這個文件的內容,來確定它訪問權限的范圍。

          2、(無法找到文件)。每當搜索蜘蛛來尋找并不存在的robots.txt文件時,服務器也將在日志中記錄一條404錯誤文件,所以不管你是否需要屏蔽蜘蛛抓取,都應該在網站中添加一個robots.txt

          3、一般網站中不需要蜘蛛抓取的文件有:后臺管理文件、程序腳本、附件、數據庫文件、編碼文件、樣式表文件、模板文件、導航圖片和背景圖片等等。這些內容目錄可以通過robots.txt屏蔽。

          4、robots.txt里主要有兩個函數:User-agentDisallow

          5、robots.txt文件里還可以直接包括在sitemap文件的鏈接。就像這樣:   

          Sitemap: http://www.cn-amway.com/sitemap.xml

          6、舉例說明robots.txt,不懂的朋友可以根據自己的網站情況,作為參考。

          User-agent: *   

          Disallow: /admin/ 后臺管理文件   

          Disallow: /require/ 程序文件   

          Disallow: /attachment/ 附件   

          Disallow: /images/ 圖片   

          Disallow: /data/ 數據庫文件   

          Disallow: /template/ 模板文件   

          Disallow: /css/ 樣式表文件   

          Disallow: /lang/ 編碼文件   

          Disallow: /script/ 腳本文件

          7、文件里面至少要有一個Disallow函數,如果都允許收錄,則寫: Disallow: ,如果都不允許收錄,則寫:Disallow: /  (注:只是差一個斜桿)。

          8、常見Robots名字

            名稱 搜索引擎

            google蜘蛛: googlebot

            百度蜘蛛:baiduspider

            yahoo蜘蛛:slurp

            alexa蜘蛛:ia_archiver

            msn蜘蛛:msnbot

            altavista蜘蛛:scooter

            lycos蜘蛛: lycos_spider_(t-rex)

            alltheweb蜘蛛: fast-webcrawler/

            inktomi蜘蛛: slurp

          以上就是快美網絡分享關于建立Robots.txt 的基本知識,希望廣大的朋友們學以致用。

           

          ?
          廣告設計與網絡推廣
          分享按鈕 亚洲图 欧美 日韩 在线