2021-04-23

完美解决jsoup获取响应内容不完整

Jsoup抓取网页只能抓取一部分不能完整获取响应内容时，一般有以下几个原因。

1. 网络异常，这个很少发生，jsoup会报告exception
2. 网络超时，可以设置 connection.timeout(n) 增加超时时间。

3. 看起来都正常，没有异常发生。 但是获取的数据就是少了一截。

   如果获取到的数据不超过1024k，程序正常，得到的数据也正常。

   一旦数据超过1024k时，数据就只有预期得到数据的前1024k字节了。

   仔细查找jsoup的api 发现，默认设置下，jsoup最大获取的响应长度正好时1M。

   所以这个时候只要设置 connection.maxBodySize(0)，设置为0，就可以得到不限响应长度的数据了。

   网上有人这样写说可以解决

   Document = Jsoup.connect(url)

   　　.header(“Accept-Encoding”, “gzip, deflate”)

   　　.userAgent(“Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0”)

   　　.maxBodySize(0)

   　　.timeout(600000)

   　　.get();

   经过测试，这样还是不能解决。

   最终发现，下面这样写才能完美解决：

   Response resp = Jsoup.connect(url)

   .timeout(60000)

   .method(Connection.Method.GET)

   .maxBodySize(0)

   .followRedirects(false)

   .execute();

   String htmlStr = new String(resp.bodyAsBytes());