三个人一起躁我吃奶头80分钟,三年片大全免费观看,三年片免费观看影视大全满天星,三年成全免费高清大全,三年片免费观看大全有,三年片在线观看大全

快速使用百度站長工具檢查和配置Robots

百度站長工具檢查和配置Robots http://zhanzhang.baidu.com/robots/index

一、檢查當前Robots配置：

1、 首先點擊“檢測robots.txt”

2、 輸入你要查詢的網(wǎng)址

3、 按“檢測”

4、 按“檢測”后就會出現(xiàn)以下內(nèi)容是當前不允許抓取和允許抓取的列表，像后臺文件夾這些應(yīng)該設(shè)置為“不允許抓取”。

若檢測結(jié)果為上圖，表明空間不存在robots.txt表示您允許搜索引擎可以抓取您網(wǎng)站全部的內(nèi)容包括后臺信息。

 

二、配置Robots

1、 點擊“生成robots.txt”

2、 設(shè)置“user-agent”為“所有”即允許所有搜索引擎收錄網(wǎng)站信息，狀態(tài)分別有“允許抓取”和“不允許抓取”按你的需要設(shè)置好哪個路徑是允許搜索引擎收錄網(wǎng)站信息的或不收錄的。“路徑”代表空間中那個路徑要做Robots的。

3、 “user-agent”“狀態(tài)”“路徑”這三個都設(shè)置好了，可以點擊“創(chuàng)建”按鈕。這時“robots.txt內(nèi)容”會自動添加你剛配置好的信息，將你要配置的都創(chuàng)建好后點擊“下載”將“robots.txt”下載到本地后上傳到服務(wù)器網(wǎng)頁根目錄下即可。