最近在使用python进行爬虫的学习,遇到了urllib、urllib2还有python3中的urllib,通过这段时间的使用,将其大致的使用场景和区别总结如下:
python2.x中的urllib、urllib2
urllib和urllib2都是用来处理url的请求的,urllib只能接受一个确定的字符串地址的请求,但是可以进行urlencode来对url进行编码,比如进行post请求就要使用它对data进行编码,而urllib2可以接受一个request实例(里面可以伪装agent)。
里面具体的方法我就不介绍了,主要知道这两个区别,之后就可以结合自己的需求进行灵活搭配使用。