爬蟲使用随機 User-Agent 時遇到的坑

問題：使用 fake_useragent 生成的随機 User-Agent 請求亞馬遜網站的時候，在對爬取到的頁面使用 xpath 進行資料提取時，

有時候正常傳回，有時候傳回的是一個空清單。

原因：生成的一部分 User-Agent 去請求的時候，其實并沒有請求成功，傳回的是輸入驗證碼的頁面。

解決辦法：可以建立一個随機ua池，将有效的 User-Agent 放到代理池中， 需要使用 User-Agent 時随機擷取一條。