ChromeDriver PageLoadStrategy 使用配置

问题引出：

目标网站应用数据分析工具【百度、数据联盟】等外部分析网站，加载页面起来懂不懂几十秒。而ChromeDriver默认是必须等所有的资源加载完，才进我们的页面分析处理过程中来。这一切非常恼火

技术点：selenium ChromeDriver PageLoadStrategy  Chrome

其中PageLoadStrategy有三种选择：

(1) NONE: 当html下载完成之后，不等待解析完成，selenium会直接返回

(2) EAGER: 要等待整个dom树加载完成，即DOMContentLoaded这个事件完成，仅对html的内容进行下载解析

(3) NORMAL: 即正常情况下，selenium会等待整个界面加载完成（指对html和子资源的下载与解析,如JS文件，图片等，不包括ajax）

1、解决办法遇败

网上充斥着：PageLoadStrategy  = eager 能解决问题，嗯是的，不过Chrome不支持这个属性，只支持none

//老方法 适用于老版本Selenium
DesiredCapabilities caps = DesiredCapabilities.chrome();
caps.setCapability("pageLoadStrategy", "eager");
           

  两种实现方式都试一把，结果就是，不管怎么样 Chrome就是用了这个eager属性，一执行就报：

  org.openqa.selenium.WebDriverException: unknown error: cannot parse capability: pageLoadStrategy

#新方法 适用于新版本Selenium
ChromeOptions options = new ChromeOptions();
opt.setPageLoadStrategy( PageLoadStrategy.EAGER );
           

2、柳暗花明-终极解决办法

DesiredCapabilities caps = DesiredCapabilities.chrome();
caps.setCapability("pageLoadStrategy", "none");
WebDriver mDriver = new ChromeDriver( caps );


driver.navigate().to("https://www.douban.com/");
//因为前文设置了 pageLoadStrategy=none 
//html获取到后就直接开始分析页面信息--可能domcument还未加载完成
//所以需要等待某元素加载才开始，超时时间为10S
WebDriverWait wait=new WebDriverWait(driver,10);
wait.until(ExpectedConditions.presenceOfElementLocated( By.xpath("/html") ));

//上面这一段代码就解决了URL一直加载的问题


//我使用的Webmagic java实现
WebElement webElement = webDriver.findElement(By.xpath("/html"));
if( webElement != null ){
	logger.info( "获取整个页面信息失败，但是业务流程不受影响........" );
	String content = webElement.getAttribute("outerHTML");
	page.setRawText(content);
	page.setHtml(new Html(content, request.getUrl()));
	page.setUrl(new PlainText(request.getUrl()));
	page.setRequest(request);
	webDriverPool.returnToPool(webDriver);			    
}
           

3、参考信息

Selenium 的页面加载以及几种等待的问题

Page load strategy for Chrome driver

Does chrome chrome driver support PageLoadStrategy='eager' for Selenium?

Selenium2(WebDriver)总结(一)---启动浏览器、设置profile&加载插件

Selenium 的页面加载以及几种等待的问题

Chrome驱动程序的页面加载策略（更新至Selenium v​​3.12.0）

Page load strategy for Chrome driver (Updated till Selenium v3.12.0)

selenium-chrome-driver

guava

部分资料可能需要翻-墙出去才能.