PythonrequestsHTTP“Maxretriesexceededwithurl”error

今天跑了一下之前寫的額爬蟲，發現頻繁執行時會報出一個超過最大連接配接數的問題。

網上查了一下，

原因是http連接配接太多沒有關閉導緻的。

通俗來說就是每次爬取時建立一個HTTP連接配接，但是這個http連接配接沒有結束，又建立了連接配接。

解決辦法：

requests.adapters.DEFAULT_RETRIES = 5      

s = requests.session()


  s.keep_alive = False