//WebRequest request = WebRequest.Create(uri);
HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(uri);
//request.Timeout = Timeout.Infinite;
request.Timeout = 20000;
//request.AllowAutoRedirect = true;
//request.AllowWriteStreamBuffering = true;
//request.Referer = "";
response = request.GetResponse();
轉載自:http://blog.sina.com.cn/s/blog_6fe1bc2e0101emc5.html
【問題】
用C#模拟網頁登陸,其中去請求幾個頁面,會發起對應的http的請求request,其中keepAlive設定為true,送出請求後,然後會有對應的response:
resp = (HttpWebResponse)req.GetResponse();
之前的多次調試,一直都是可以正常獲得對應的response,然後讀取html頁面的。
但是後來幾次的調試,在沒有改變代碼的前提下,結果GetResponse卻始終會逾時死掉。
【解決過程】
1.預設request的timeout是1000000毫秒=100秒,都會逾時,手動改為10秒,是以就更容易逾時了,無法解決問題。
2.将http的request的keepAlive設定為false,問題依舊。
3.去參考:c# request.GetResponse();逾時問題的解決,和HttpWebRequest多線程性能問題,請求逾時的錯誤,
去把前面共4次的httprequest,每次都增加對應的:
resp = null; 。。。 if (resp != null) { resp.Close(); } if (req != null) { req.Abort(); } |
結果還是沒解決問題。
4. 同樣參考:HttpWebRequest多線程性能問題,請求逾時的錯誤,
去嘗試關于DefaultConnectionLimit的設定,改為為10:
System.Net.ServicePointManager.DefaultConnectionLimit = 10; |
問題依舊。
5.又去測試了下,關于response.Close()
也是沒解決問題。
6. 最後無意間,索性不抱希望的,再次DefaultConnectionLimit設定為更大的值50:
System.Net.ServicePointManager.DefaultConnectionLimit = 50;
試了試,結果就解決逾時的問題了。
然後才搞懂原因。
之前預設設定為2,後來改為10,都沒有解決問題的原因在于,目前有很多個http的連接配接,沒有被關閉掉,
而這些keepalive的連接配接,都是
由于代碼中,對于前面多個request。其都是keepalive為true,以及多個response也沒有close,
而之前調試了很多次了,是以,此時已經存在了很多個alive的http連接配接了,已經超過了10個了,是以前面設定了DefaultConnectionLimit 為10,也還是沒用的。
而改為50,才夠用。
【總結】
此處GetResponse超過的原因是,目前存在太多數目的alive的http連接配接(大于10個),是以再次送出同樣的http的request,再去GetResponse,就會逾時死掉。
解決辦法就是,把DefaultConnectionLimit 設定為一個比較大一點的數值,此數值保證大于你目前已經存在的alive的http連接配接數即可。
【經驗總結】
以後寫http的request代碼,如果不是必須的要keepalive的,那麼就要設定KeepAlive為false:
req.KeepAlive = false;
以及做對應的收尾動作:
if (resp != null) { resp.Close(); } if (req != null) { req.Abort(); } |
【後記 2012-03-01】
又偶爾遇到一次,DefaultConnectionLimit已經是200了,足夠大了,但是GetResponse和GetRequestStream,還是會逾時死掉的問題,具體是什麼原因導緻的還不是很清楚,但是經過折騰,參考:
HttpWebResponse’s GetResponse() hangs and timeouts
在:
req = (HttpWebRequest)WebRequest.Create(constSkydriveUrl); setCommonHttpReqPara(ref req); resp = (HttpWebResponse)req.GetResponse(); |
之前,添加一句垃圾回收:
System.GC.Collect();
然後就解決了GetResponse的逾時問題,并且後面的GetRequestStream也同時可以正常工作,不逾時了。
是以,看起來像是目前系統由于調試多次,并且HttpWebRequest和HttpWebResponse都是沒有正常去Close的,可能會殘留一些 http的連結,然後就可能影響到了後續對于http的使用,垃圾回收後,估計就把殘餘的http相關資源釋放了,然後http就可以正常工作了。
【總結】
對于GetResponse或GetRequestStream逾時死掉的原因,可能是:
1.DefaultConnectionLimit是預設的2,而目前的Http的connection用完了,導緻後續的GetResponse或GetRequestStream逾時死掉
==>> 預設系統隻支援同時存在2個http的connection
==>> 使用HttpWebRequest之後如果沒有close,則會占用1個http的connection,是以如果超過2次使用 HttpWebRequest而沒有close,那麼就用完系統的http的connection,之後再去使用 HttpWebRequest,GetResponse就會死掉
解決辦法:
辦法1:
每次使用完HttpWebRequest,使用
?
1 2 | |
去關閉對應的http connection
最好對應的HttpWebResponse也要close:
?
1 2 | |
方法2:
修改DefaultConnectionLimit的值,改為足夠大,比如:
?
1 | |
2.系統中Http相關的資源沒有正确釋放,導緻後續GetResponse或GetRequestStream逾時死掉
就像我此處遇到的,可能是之前調用http相關函數,沒有正确完全釋放資源,導緻雖然DefaultConnectionLimit給了足夠大,但是還是 會死掉,此時在http請求代碼之前去做一次垃圾回收,則後續http的GetResponse或GetRequestStream就正常了,就不會逾時 死掉了。
參考代碼如下:
?
1 2 3 4 5 | |
3.Http的GET請求時,不要手動設定ContentLength的值
這個是參考這裡:HttpWebRequest.GetResponse() hangs the second time it is called而記錄于此的,也許有人是此原因,是以可供參考一下。
即Http的GET請求,不要添加類似如下的代碼:
?
1 2 | |
不要去手動修改對應的ContentLength的值,C#的http相關庫函數,會自動幫你計算的。
注:POST方法中,的确是要手動填充資料和算出資料大小,然後手動給ContentLength指派的。
4.其他可能的一些原因
(1)關于KeepAlive的問題
如果Http的請求,是設定了KeepAlive=true的話,那麼對應的http的connection會和伺服器保持連接配接的。
是以如果上述辦法都不能解決逾時的問題,可以嘗試将keepAlive設定為false試試,看看能否解決。
(2)關于Sleep
有些人好像是通過在http請求前,加了對應的Sleep,結果解決了此問題。需要的人,也可以試試。
(3)HttpWebRequest的Timeout
一般來說,既然逾時了,往往是由于錯誤使用函數或者網絡有問題導緻的,是以實際上此處對于有些人去把HttpWebRequest的Timeout的值改的更大,往往都是沒用的。
隻不過,萬一是由于網絡響應慢而導緻逾時,那麼倒是可以嘗試,将HttpWebRequest的Timeout的值改為更大。
(其中HttpWebRequest的Timeout預設的值是100,000 milliseconds ==100 seconds)
參考代碼:
?
1 | |