C#中HttpWebRequest與HttpWebResponse的使用方法

關鍵字：C# HttpWebRequest HttpWebResponse HTTP GET POST 請求    

這個類是專門為HTTP的GET和POST請求寫的，解決了編碼，證書，自動帶Cookie等問題。

C# HttpHelper,幫助類,真正的Httprequest請求時無視編碼，無視證書，無視Cookie,網頁抓取

1.第一招，根據URL位址擷取網頁資訊

   先來看一下代碼

get方法

post方法

這招是入門第一式， 特點：

   1.最簡單最直覺的一種，入門課程。

   2.适應于明文，無需登入，無需任何驗證就可以進入的頁面。

   3.擷取的資料類型為HTML文檔。

   4.請求方法為Get/Post

2.第二招，根據URL位址擷取需要驗證證書才能通路的網頁資訊

post方法 

這招是學會算是進了大門了，凡是需要驗證證書才能進入的頁面都可以使用這個方法進入，我使用的是證書回調驗證的方式，證書驗證是否通過在用戶端驗證，這樣的話我們就可以使用自己定義一個方法來驗證了，有的人會說那也不清楚是怎麼樣驗證的啊，其它很簡單，代碼是自己寫的為什麼要那麼難為自己呢，直接傳回一個True不就完了，永遠都是驗證通過，這樣就可以無視證書的存在了， 特點：

   1.入門前的小難題，初級課程。

   2.适應于無需登入，明文但需要驗證證書才能通路的頁面。

3.第三招，根據URL位址擷取需要登入才能通路的網頁資訊

我們先來分析一下這種類型的網頁，需要登入才能通路的網頁，其它呢也是一種驗證，驗證什麼呢，驗證用戶端是否登入，是否具用相應的憑證，需要登入的都要驗證SessionID這是每一個需要登入的頁面都需要驗證的，那我們怎麼做的，我們第一步就是要得存在Cookie裡面的資料包括SessionID，那怎麼得到呢，這個方法很多，使用ID9或者是火狐浏覽器很容易就能得到，可以參考我的文章

提供一個網頁抓取hao123手機号碼歸屬地的例子  這裡面針對ID9有詳細的說明。

如果我們得到了登入的Cookie資訊之後那個再去通路相應的頁面就會非常的簡單了，其它說白了就是把本地的Cookie資訊在請求的時候捎帶過去就行了。

   看代碼

post方法。

特點：

   1.還算有點水類型的，練習成功後可以小牛一把。

   2.适應于需要登入才能通路的頁面。

總結一下，其它基本的技能就這幾個部分，如果再深入的話那就是基本技能的組合了

比如，

1. 先用Get或者Post方法登入然後取得Cookie再去通路頁面得到資訊，這種其它也是上面技能的組合，

這裡需要以請求後做這樣一步

這就是在你請求後可以得到當次Cookie的方法，直接取得傳回給上一個方法使用就行了，上面我們都是自己構造的，在這裡直接使用這個Cookie就可以了。

2.如果我們碰到需要登入而且還要驗證證書的網頁怎麼辦，其它這個也很簡單把我們上面的方法綜合 一下就行了

如下代碼這裡我以Get為例子Post例子也是同樣的方法

3.如果我們碰到那種需要驗證網頁來源的方法應該怎麼辦呢，這種情況其它是有些程式員會想到你可能會使用程式，自動來擷取網頁資訊，為了防止就使用頁面來源來驗證，就是說隻要不是從他們所在頁面或是域名過來的請求就不接受，有的是直接驗證來源的IP，這些都可以使用下面一句來進入，這主要是這個位址是可以直接僞造的

呵呵其它很簡單因為這個位址可以直接修改。但是如果伺服器上驗證的是來源的URL那就完了，我們就得去修改資料包了，這個有點難度暫時不讨論。

4.提供一些與這個例子相配置的方法

    過濾HTML标簽的方法

URL轉化的方法

提供一個實際例子，這個是使用IP138來查詢手機号碼歸屬地的方法，其它在我的上一次文章裡都有，在這裡我再放上來是友善大家閱讀，這方面的技術其它研究起來很有意思，希望大家多提建議，我相信應該還有更多更好，更完善的方法，在這裡給大家提供一個參考吧。感謝支援

上例子

這個例子寫是不怎麼樣，些地方是可以簡化的，這個接口而且可以直接使用Xml得到，但我在這裡的重點是讓一些新手看看方法和思路風涼啊，呵呵

第四招，通過Socket通路

原文：http://www.cckan.net/thread-6-1-1.html