采集免费ip,制作自己的代理ip池

采集免费ip,制作自己的代理ip池

第一步，选择一个免费代理ip的网站，把他们网站的所有ip都爬取下来，

​

免费的代理IP不同网站质量也不尽相同，如果大家对于代理IP质量要求比较高，或者需要大量稳定代理IP的话，还是建议大家进行购买啦~

提取的时候，使用正则表达式，

这种免费代理，绝大部分，都是不可用的，

第二步，用request库去请求验证这个ip，然后把可用的ip，都提取出来，

要想判断所使用的代理IP是否有用，只需要通过代理IP访问IP地址查询网站抓取地址以及归属地信息并与不使用代理IP时的地址信息以及归属地信息进行比较即可。

在浏览器访问icanhazip.com，浏览器会直接返回你的出口IP（也叫公网IP）。或者百度“IP”也可以返回你的出口IP。

浏览器访问IP138.com 或者http://ip.chinaz.com/，就可以得到外网地址。icanhazip.com

第三步，把可用的ip，都保存到数据库，

如此就能拿到新鲜免费的代理ip了，为了使得ip能多次使用，我将其存入mysql数据库中。

写入代码如下

读取代码如下

整个过程使用python+re+request+mysql来完成，

####

#####

######