潘金莲毛片 I 乳女教师の诱惑julia在线播放 I 午夜久久视频 I com超碰 I 午夜电影你懂的 I 超碰97中文 I 日韩精品 I 免费在线观看h片 I 自拍偷拍欧美激情 I 女生脱下裤子让男生操 I 桃色视屏 I 91资源在线观看 I 国产,高清,精品,在线,a I 国产白富美浴室玩奴三部曲 I 大陆国产vs国产对白 I 内射巨臀欧美在线视频 I 国产精品捆绑调教网站 I 深夜影院在线 I 色网站在线免费观看 I 长篇武侠肉伦小说 I 欧美一区二区久久久 I 日本公公和儿媳 I _级黄色片 I 色综合久久久久久久粉嫩 I 亚洲美女视频 I 特级aaaaaaaaa毛片免费视频 I 美女扒开双腿 I 综合一区在线 I 亚洲国产精品av久久久 I av免费人人干 I 日本一区二区三区四区在线视频 I 韩国毛片基地 I 白丝喷水在线观看 I 美女被羞羞网站视频 I 嫩草视频国产 I 国产乱淫视频 I 精品少妇人妻av一区二区三区 I 97这里只有精品 I 精品国产三级a∨在线欧美 I 国产高清在线一区二区 I 免费又色又爽无遮挡60分钟 I 老头性生活 I 经典一区二区三区 I 日韩精品999 I 日本乱码伦午夜福利在线 I 黄色精品网站在线观看 I 日本三级毛片 I 欧美日韩激情一区二区三区 I 在线麻豆视频 I 91播放 I 白人美女和黑人作爱 I 快灬快灬一下爽蜜桃在线观看 I 中文字幕高清在线免费播放 I 日本掀裙子露白内裤打屁股 I 日本艹逼 I 一卡二卡av I 亚洲图区一区

問題場景：客戶使用虛擬主機，網站被搜索引擎爬蟲訪問耗費大量流量和帶寬，如何處理

解決方法：可以通過在站點根目錄下創建Robots.txt，Robots.txt文件是網站的一個文件，搜索引擎蜘蛛抓取網站首先就是抓取這個文件，根據里面的內容來決定對網站文件訪問的范圍。它能夠保護我們的一些文件不暴露在搜索引擎之下，從而有效的控制蜘蛛的爬取路徑。

1、首先，先了解一下目前搜索引擎和其對應的User-Agent，如下：

搜索引擎         User-Agent
AltaVista        Scooter
baidu            Baiduspider
Infoseek         Infoseek
Hotbot           Slurp
AOL Search       Slurp
Excite           ArchitextSpider
Google           Googlebot
Goto             Slurp
Lycos            Lycos
MSN              Slurp
Netscape         Googlebot
NorthernLight    Gulliver
WebCrawler       ArchitextSpider
Iwon             Slurp
Fast             Fast
DirectHit        Grabber
Yahoo Web Pages  Googlebot
LooksmartWebPages Slurp
2、Robots.txt樣例代碼：

例1. 禁止所有搜索引擎訪問網站的任何部分
User-agent: *
Disallow: /
例2. 允許所有的搜索引擎訪問網站的任何部分
User-agent: *
Disallow:
例3. 僅禁止Baiduspider訪問您的網站
User-agent: Baiduspider
Disallow: /
例4. 僅允許Baiduspider訪問您的網站
User-agent: Baiduspider
Disallow:
例5. 禁止spider訪問特定目錄
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /data/
注意事項：1)三個目錄要分別寫。
2)請注意最后要帶斜杠。
3)帶斜杠與不帶斜杠的區別。
例6. 允許訪問特定目錄中的部分url
實現a目錄下只有b.htm允許訪問
User-agent: *
Allow: /a/b.htm
Disallow: /a/