天天看点

Curl命令如何检测爬虫ip可用性

在使用爬虫ip做大数据抓取之前,正常的程序员都会先测试下爬虫ip是否正常可用,正常的方法就是通过浏览器设置爬虫ip打开测速网站是否正常,或者是通过第三方爬虫ip检测工具,又或者是自己写代码程序测试等,其实还有一种方法是通过Curl命令来测试爬虫ip是否可用。

测试socks5爬虫ip的命令:

curl --socks5 168.168.168.168:66666  测试网站

测试http爬虫ip的命令:

curl --connect-timeout 2 -x 168.168.168.168:88888 测试网站

继续阅读