nginx過濾post請求頭_nginx屏蔽指定請求頭通路

入nginx的配置目錄，例如cd /usr/local/nginx/conf

server層加入以下内容：

#禁止Scrapy等爬蟲工具的抓取

if ($http_user_agent ~* "Scrapy|Sogou web spider|Baiduspider") {

return 403;

}

#禁止指定UA及UA為空的通路

if ($http_user_agent ~ "FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|heritrix|EasouSpider|LinkpadBot|Ezooms|^$" )

{

return 403;

}

#禁止非GET|HEAD|POST方式的抓取

if ($request_method !~ ^(GET|HEAD|POST)$) {

return 403;

}

還可以加一些針對特殊的user_agent的通路if ($http_user_agent ~ "Mozilla/4.0\ \(compatible;\ MSIE\ 6.0;\ Windows\ NT\ 5.1;\ SV1;\ .NET\ CLR\ 1.1.4322;\ .NET\ CLR\ 2.0.50727\)") {

return 404;

}