HttpClient容易忽视的细节——连接关闭

[java] view plaincopy  

1. java.net.SocketException: Too many open files  
2.  at java.net.Socket.createImpl(Socket.java:397)  
3.  at java.net.Socket.<init>(Socket.java:371)  
4.  at java.net.Socket.<init>(Socket.java:249)  
5.  at org.apache.commons.httpclient.protocol.DefaultProtocolSocketFactory.createSocket(DefaultProtocolSocketFactory.java:80)  
6.  at org.apache.commons.httpclient.protocol.DefaultProtocolSocketFactory.createSocket(DefaultProtocolSocketFactory.java:122)  
7.  at org.apache.commons.httpclient.HttpConnection.open(HttpConnection.java:707)  
8.  at org.apache.commons.httpclient.HttpMethodDirector.executeWithRetry(HttpMethodDirector.java:387)  
9.  at org.apache.commons.httpclient.HttpMethodDirector.executeMethod(HttpMethodDirector.java:171)  
10.  at org.apache.commons.httpclient.HttpClient.executeMethod(HttpClient.java:397)  
11.  at org.apache.commons.httpclient.HttpClient.executeMethod(HttpClient.java:323)  
12.  at com.thhc.mylegist.baidu.BaiDuHttpFactory.getQuestionList(BaiDuHttpFactory.java:284)  
13.  at com.thhc.mylegist.baidu.BaiDuTask.run(BaiDuTask.java:21)  
14.  at java.util.TimerThread.mainLoop(Timer.java:512)  
15.  at java.util.TimerThread.run(Timer.java:462)  

下面是转载的内容：

[java] view plaincopy  

1. Java代码   
2. 1.HttpClient client = new HttpClient();     
3. 2.HttpMethod method = new GetMethod("http://www.apache.org");     
4. 3.try {     
5. 4.  client.executeMethod(method);     
6. 5.  byte[] responseBody = null;     
7. 6.       
8. 7.  responseBody = method.getResponseBody();     
9. 8.       
10. 9.} catch (HttpException e) {     
11. 10.  // TODO Auto-generated catch block     
12. 11.  e.printStackTrace();     
13. 12.} catch (IOException e) {     
14. 13.  // TODO Auto-generated catch block     
15. 14.  e.printStackTrace();     
16. 15.}finally{     
17. 16.  method.releaseConnection();     
18. 17.       
19. 18.}    
20. HttpClient client = new HttpClient();  
21. HttpMethod method = new GetMethod("http://www.apache.org");  
22. try {  
23.   client.executeMethod(method);  
24.   byte[] responseBody = null;  
25.   responseBody = method.getResponseBody();  
26. } catch (HttpException e) {  
27.   // TODO Auto-generated catch block  
28.   e.printStackTrace();  
29. } catch (IOException e) {  
30.   // TODO Auto-generated catch block  
31.   e.printStackTrace();  
32. }finally{  
33.   method.releaseConnection();  
34. }  
35. 大部分人使用HttpClient都是使用类似上面的事例代码，包括Apache官方的例子也是如此。最近我在使用HttpClient是发现一次循环发送大量请求到服务器会导致APACHE服务器的链接被占满，后续的请求便排队等待。   
36. 我服务器端APACHE的配置   
37. Java代码   
38. 1.Timeout 30    
39. 2.KeepAlive On   #表示服务器端不会主动关闭链接     
40. 3.MaxKeepAliveRequests 100    
41. 4.KeepAliveTimeout 180     
42. Timeout 30  
43. KeepAlive On   #表示服务器端不会主动关闭链接  
44. MaxKeepAliveRequests 100  
45. KeepAliveTimeout 180   
46. 因此这样的配置就会导致每个链接至少要过180S才会被释放，这样在大量请求访问时就必然会造成链接被占满，请求等待的情况。   
47. 在通过DEBUH后发现HttpClient在method.releaseConnection()后并没有把链接关闭，这个方法只是将链接返回给connection manager。如果使用HttpClient client = new HttpClient()实例化一个HttpClient connection manager默认实现是使用SimpleHttpConnectionManager。SimpleHttpConnectionManager有个构造函数如下   
48. Java代码   
49. 1.    
50. 10.public SimpleHttpConnectionManager(boolean alwaysClose) {     
51. 11.    super();     
52. 12.    this.alwaysClose = alwaysClose;     
53. 13.}    
54. public SimpleHttpConnectionManager(boolean alwaysClose) {  
55.     super();  
56.     this.alwaysClose = alwaysClose;  
57. }  
58. 看方法注释我们就可以看到如果alwaysClose设为true在链接释放之后connection manager 就会关闭链。在我们HttpClient client = new HttpClient()这样实例化一个client时connection manager是这样被实例化的   
59. Java代码   
60. 1.this.httpConnectionManager = new SimpleHttpConnectionManager();    
61. this.httpConnectionManager = new SimpleHttpConnectionManager();  
62. 因此alwaysClose默认是false,connection是不会被主动关闭的，因此我们就有了一个客户端关闭链接的方法。   
63. 方法一：   
64. 把事例代码中的第一行实例化代码改为如下即可，在method.releaseConnection();之后connection manager会关闭connection 。   
65. Java代码   
66. 1.HttpClient client = new HttpClient(new HttpClientParams(),new SimpleHttpConnectionManager(true) );    
67. HttpClient client = new HttpClient(new HttpClientParams(),new SimpleHttpConnectionManager(true) );  
68. 方法二：   
69. 实例化代码使用：HttpClient client = new HttpClient();   
70. 在method.releaseConnection();之后加上   
71. Java代码   
72. 1.((SimpleHttpConnectionManager)client.getHttpConnectionManager()).shutdown();    
73. ((SimpleHttpConnectionManager)client.getHttpConnectionManager()).shutdown();  
74. shutdown源代码很简单，看了一目了然   
75. Java代码   
76. 1.public void shutdown() {     
77. 2.    httpConnection.close();     
78. 3.}    
79. public void shutdown() {  
80.     httpConnection.close();  
81. }  
82. 方法三：   
83. 实例化代码使用：HttpClient client = new HttpClient();   
84. 在method.releaseConnection();之后加上   
85. client.getHttpConnectionManager().closeIdleConnections(0);此方法源码代码如下：   
86. Java代码   
87. 1.public void closeIdleConnections(long idleTimeout) {     
88. 2.    long maxIdleTime = System.currentTimeMillis() - idleTimeout;     
89. 3.    if (idleStartTime <= maxIdleTime) {     
90. 4.        httpConnection.close();     
91. 5.    }     
92. 6.}    
93. public void closeIdleConnections(long idleTimeout) {  
94.     long maxIdleTime = System.currentTimeMillis() - idleTimeout;  
95.     if (idleStartTime <= maxIdleTime) {  
96.         httpConnection.close();  
97.     }  
98. }  
99. 将idleTimeout设为0可以确保链接被关闭。   
100. 以上这三种方法都是有客户端主动关闭TCP链接的方法。下面再介绍由服务器端自动关闭链接的方法。   
101. 方法四：   
102. 代码实现很简单，所有代码就和最上面的事例代码一样。只需要在HttpMethod method = new GetMethod("http://www.apache.org");加上一行HTTP头的设置即可   
103. Java代码   
104. 1.method.setRequestHeader("Connection", "close");    
105. method.setRequestHeader("Connection", "close");  
106. 看一下HTTP协议中关于这个属性的定义：   
107. HTTP/1.1 defines the "close" connection option for the sender to signal that the connection will be closed after completion of the response. For example,   
108.        Connection: close   
109. 现在再说一下客户端关闭链接和服务器端关闭链接的区别。如果采用客户端关闭链接的方法，在客户端的机器上使用netstat –an命令会看到很多TIME_WAIT的TCP链接。如果服务器端主动关闭链接这中情况就出现在服务器端。   
110. 参考WIKI上的说明http://wiki.apache.org/HttpComponents/FrequentlyAskedConnectionManagementQuestions   
111. The TIME_WAIT state is a protection mechanism in TCP. The side that closes a socket connection orderly will keep the connection in state TIME_WAIT for some time, typically between 1 and 4 minutes.   
112. TIME_WAIT的状态会出现在主动关闭链接的这一端。TCP协议中TIME_WAIT状态主要是为了保证数据的完整传输。具体可以参考此文档：   
113. http://www.softlab.ntua.gr/facilities/documentation/unix/unix-socket-faq/unix-socket-faq-2.html#ss2.7   
114. 另外强调一下使用上面这些方法关闭链接是在我们的应用中明确知道不需要重用链接时可以主动关闭链接来释放资源。如果你的应用是需要重用链接的话就没必要这么做，使用原有的链接还可以提供性能。   

评论：

[java] view plaincopy  

1. 8 楼 javatar 2008-11-23   引用   
2. 官方文档有建议使用空闲连接检查线程：   
3. Java代码   
4. 1.import org.apache.commons.httpclient.util.IdleConnectionTimeoutThread;     
5. 2.// 创建线程     
6. 3.IdleConnectionTimeoutThread thread = new IdleConnectionTimeoutThread();     
7. 4.// 注册连接管理器     
8. 5.thread.addConnectionManager(httpClient.getHttpConnectionManager());     
9. 6.// 启动线程     
10. 7.thread.start();     
11. 8.// 在最后，关闭线程     
12. 9.thread.shutdown();    
13. import org.apache.commons.httpclient.util.IdleConnectionTimeoutThread;  
14. // 创建线程  
15. IdleConnectionTimeoutThread thread = new IdleConnectionTimeoutThread();  
16. // 注册连接管理器  
17. thread.addConnectionManager(httpClient.getHttpConnectionManager());  
18. // 启动线程  
19. thread.start();  
20. // 在最后，关闭线程  
21. thread.shutdown();  
22. 7 楼 sdh5724 2008-10-29   引用   
23. 楼上的说法是对的, 但是, 性能来说, 是不合适的.   
24. 首先, 我想问你, 既然是轮询, 为什么HttpURLConnection要每次创建.  既然是个持续的过程, 就不应该每次HttpURLConnection对象重新创建, 你应该重复使用这个对象. HttpURLConnection会持有连接的, 如果断开, 我记得他会去尝试连接.   
25. 6 楼 SeanHe 2008-10-28   引用   
26. kjah 写道  
27. 但使用netstat发现很多TIME_WAIT,时间长点后会出现端口都被占用的状况 address already in use :connect，使用HttpURLConnection.disconnect()也没有效果。  
28. 如果你是应为客户端出现很多的TIME_WAIT造成端口占用，你不妨试一下“方法四”在HTTP请求头上设置"Connection", "close"这样服务器会来主动关闭链接，这样就不会在客户端产生很多的TIME_WAIT  
29. 5 楼 kjah 2008-10-28   引用   
30. 我是google到这里的。。。   
31. 您对HttpClient 的关闭分析的很透彻   
32. 请教HttpURLConnection和URLConnection怎么关闭链接？   
33. 我需要轮询一个网址，但使用netstat发现很多TIME_WAIT,时间长点后会出现端口都被占用的状况 address already in use :connect，使用HttpURLConnection.disconnect()也没有效果。  
34. 4 楼 fly_ever 2008-09-11   引用   
35. 引用  
36. 另外强调一下使用上面这些方法关闭链接是在我们的应用中明确知道不需要重用链接时可以主动关闭链接来释放资源。如果你的应用是需要重用链接的话就没必要这么做，使用原有的链接还可以提供性能。   
37. 正如你所说，实际上是只有并发量很高的时候才会发生链接占满的情况。   
38. 而如果没有这么高的并发量，我们没必要去实现代码来关闭连接。   
39. 因为我们在代码中实现主动关闭的功能的同时，也丧失了性能上的优势。   
40. 因此，我觉得遇到这种情况，应该把设置中的keepAliveTimeout调低，显得更好一些。   
41. Java代码   
42. 1.1. Timeout 30       
43. 2.2. KeepAlive On   #表示服务器端不会主动关闭链接       
44. 3.3. MaxKeepAliveRequests 100       
45. 4.4. KeepAliveTimeout 180       
46.    1. Timeout 30    
47.    2. KeepAlive On   #表示服务器端不会主动关闭链接    
48.    3. MaxKeepAliveRequests 100    
49.    4. KeepAliveTimeout 180     
50. 不过，这里提供的HttpClient关闭的详细信息，还是很有价值的。  
51. 3 楼 jorsef 2008-09-10   引用   
52. 受用，非常感谢  
53. 2 楼 SeanHe 2008-09-06   引用   
54. HttpClient client = new HttpClient(); 如果这样进行实例化，默认使用SimpleHttpConnectionManager作为connection manager，SimpleHttpConnectionManager没有连接池，只管理一个连接  
55. 1 楼 JavaTestJava 2008-09-05   引用   
56. 方法二：   
57. 实例化代码使用：HttpClient client = new HttpClient();   
58. 在method.releaseConnection();之后加上   
59. Java代码   
60. ((SimpleHttpConnectionManager)client.getHttpConnectionManager()).shutdown();    
61. ((SimpleHttpConnectionManager)client.getHttpConnectionManager()).shutdown();   
62. shutdown源代码很简单，看了一目了然   
63. Java代码   
64. public void shutdown() {     
65.     httpConnection.close();     
66. }    
67. public void shutdown() {   
68.     httpConnection.close();   
69. }   
70. 方法二中的httpConnection.close();这里没有参数么?   
71. httpConnection为默认全局的那个连接?