天天看點

我讀過的最好的epoll講解--轉自”知乎“

首先我們來定義流的概念,一個流可以是檔案,socket,pipe等等可以進行I/O操作的核心對象.

不管是檔案,還是套接字,還是管道,我們都可以把他們看作流.

之後我們來讨論I/O的操作,通過read,我們可以從流中讀入資料;通過write,我們可以往流寫入資料. 現在假定一個情形,我們需要從流中讀資料,但是流中還沒有資料,(典型的例子為,用戶端要從socket讀如資料,但是伺服器還沒有把資料傳回來),這時候該怎麼辦?

阻塞是個什麼概念呢?比如某個時候你在等快遞,但是你不知道快遞什麼時候過來,而且你沒有别的事可以幹(或者說接下來的事要等快遞來了才能做);那麼你可以去睡覺了,因為你知道快遞把貨送來時一定會給你打個電話(假定一定能叫醒你).

接着上面等快遞的例子,如果用忙輪詢的方法,那麼你需要知道快遞員的手機号,然後每分鐘給他挂個電話:“你到了沒?”

很明顯一般人不會用第二種做法,不僅顯很無腦,浪費話費不說,還占用了快遞員大量的時間.

大部分程式也不會用第二種做法,因為第一種方法經濟而簡單,經濟是指消耗很少的CPU時間,如果線程睡眠了,就掉出了系統的排程隊列,暫時不會去瓜分CPU寶貴的時間片了.

為了了解阻塞是如何進行的,我們來讨論緩沖區,以及核心緩沖區,最終把I/O事件解釋清楚. 緩沖區的引入是為了減少頻繁I/O操作而引起頻繁的系統調用(你知道它很慢的),當你操作一個流時,更多的是以緩沖區為機關進行操作,這是相對于使用者空間而言. 對于核心來說,也需要緩沖區.

假設有一個管道,程序A為管道的寫入方,B為管道的讀出方.

假設一開始核心緩沖區是空的,B作為讀出方,被阻塞着. 然後首先A往管道寫入,這時候核心緩沖區由空的狀态變到非空狀态,核心就會産生一個事件告訴B該醒來了,這個事件姑且稱之為“緩沖區非空”.

但是“緩沖區非空”事件通知B後,B卻還沒有讀出資料;且核心許諾了不能把寫入管道中的資料丢掉這個時候,A寫入的資料會滞留在核心緩沖區中,如果核心也緩沖區滿了,B仍未開始讀資料,最終核心緩沖區會被填滿,這個時候會産生一個I/O事件,告訴程序A,你該等等(阻塞)了,我們把這個事件定義為“緩沖區滿”.

假設後來B終于開始讀資料了,于是核心的緩沖區空了出來,這時候核心會告訴A,核心緩沖區有空位了,你可以從長眠中醒來了,繼續寫資料了,我們把這個事件叫做“緩沖區非滿”

也許事件Y1已經通知了A,但是A也沒有資料寫入了,而B繼續讀出資料,知道核心緩沖區空了. 這個時候核心就告訴B,你需要阻塞了.

這四個情形涵蓋了四個I/O事件,緩沖區滿,緩沖區空,緩沖區非空,緩沖區非滿(注都是說的核心緩沖區,且這四個術語都是我生造的,僅為解釋其原理而造). 這四個I/O事件是進行阻塞同步的根本. (如果不能了解“同步”是什麼概念,請學習作業系統的鎖,信号量,條件變量等任務同步方面的相關知識).

然後我們來說說阻塞I/O的缺點. 但是阻塞I/O模式下,一個線程隻能處理一個流的I/O事件. 如果想要同時處理多個流,要麼多程序(fork),要麼多線程(pthread_create),很不幸這兩種方法效率都不高.

于是再來考慮非阻塞忙輪詢的I/O方式,我們發現我們可以同時處理多個流了(把一個流從阻塞模式切換到非阻塞模式再此不予讨論):

我們隻要不停的把所有流從頭到尾問一遍,又從頭開始. 這樣就可以處理多個流了,但這樣的做法顯然不好,因為如果所有的流都沒有資料,那麼隻會白白浪費CPU. 這裡要補充一點,阻塞模式下,核心對于I/O事件的處理是阻塞或者喚醒,而非阻塞模式下則把I/O事件交給其他對象(後文介紹的select以及epoll)處理甚至直接忽略.

為了避免CPU空轉,可以引進了一個代理(一開始有一位叫做select的代理,後來又有一位叫做poll的代理,不過兩者的本質是一樣的). 這個代理比較厲害,可以同時觀察許多流的I/O事件,在空閑的時候,會把目前線程阻塞掉,當有一個或多個流有I/O事件時,就從阻塞态中醒來,于是我們的程式就會輪詢一遍所有的流(于是我們可以把“忙”字去掉了). 代碼長這樣:

于是,如果沒有I/O事件産生,我們的程式就會阻塞在select處. 但是依然有個問題,我們從select那裡僅僅知道了,有I/O事件發生了,但卻并不知道是那幾個流(可能有一個,多個,甚至全部),我們隻能無差别輪詢所有流,找出能讀出資料,或者寫入資料的流,對他們進行操作.

但是使用select,我們有O(n)的無差别輪詢複雜度,同時處理的流越多,沒一次無差别輪詢時間就越長. 再次

說了這麼多,終于能好好解釋epoll了

epoll可以了解為event poll,不同于忙輪詢和無差别輪詢,epoll之會把哪個流發生了怎樣的I/O事件通知我們. 此時我們對這些流的操作都是有意義的. (複雜度降低到了O(1))

在讨論epoll的實作細節之前,先把epoll的相關操作列出:

比如

一個epoll模式的代碼大概的樣子是:

限于篇幅,我隻說這麼多,以揭示原理性的東西,至于epoll的使用細節,請參考man和google,實作細節,請參閱linux kernel source.

繼續閱讀