Python爬虫之二：使用requests模块

Python实现爬虫的文件上传、下载，以及同一会话

（一）安装requests模块

对于python2，直接在命令行输入

pip install requests
           

Python3的话，在命令行输入

pip3 install requests
           

如果你使用的电脑只使用了一个版本的Python程序的话，当然只需要使用pip 的命令就好了

（二）Python代码的实现

代码如下所示

import requests
headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
        }


def download_file(path):    # 下载文件
    r = requests.get("https://github.com/favicon.ico", headers=headers)
    # print(r.text) # 获取文本
    # print(r.content)  # 获取源格式内容
    with open(path, 'wb') as f:
        f.write(r.content)


def upload_file():  # 上传文件
    files = {'file': open('favicon.ico', 'rb')}
    r = requests.post('http://httpbin.org/post', files=files, headers=headers)
    print(r.text)


def practise_session(): # 爬虫的会话（使用同一个会话的cookie）
    s = requests.Session()
    s.get('http://httpbin.org/cookies/set/number/123456789', headers=headers)
    r = s.get('http://httpbin.org/cookies', headers=headers)
    print(r.text)


if __name__ == '__main__':
    # path = 'favicon.ico'
    # download_file(path)

    # upload_file()

    practise_session()
           

参考链接：

Python3网络爬虫开发实战