禁止所有搜尋爬蟲通路網站指定目錄robots.txt

禁止所有搜尋爬蟲通路網站指定目錄

用自己私人的伺服器來測試吧，99買阿裡雲

檔案放置不讓爬取的網站檔案夾目錄裡

robots.txt

User-agent: *
Disallow: /      

User-Agent值可改為：

搜尋引擎	User-Agent值
Google	googlebot
百度	baiduspider
雅虎	slurp
MSN	msnbot
Alexa	is_archiver