天天看點

IO複用,AIO,BIO,NIO,同步,異步,阻塞和非阻塞 差別(百度)

還有一篇:聊聊BIO,NIO和AIO (1)

如果面試問到IO操作,這篇文章提到的問題,基本是必問,百度的面試官問我三個問題

(1)什麼是NIO(Non-blocked IO),AIO,BIO

(2) java IO 與 NIO(New IO)的差別

(3)select 與 epoll,poll差別

我胡亂說了一氣,自己邊說邊覺得完蛋了。果然,二面沒過,很簡單的問題,回來後趕緊作了總結:

一、什麼是socket?什麼是I/O操作? 

我們都知道unix(like)世界裡,一切皆檔案,而檔案是什麼呢?檔案就是一串二進制流而已,不管socket,還是FIFO、管道、終端,對我們來說,一切都是檔案,一切都是流。在資訊 交換的過程中,我們都是對這些流進行資料的收發操作,簡稱為I/O操作(input and output),往流中讀出資料,系統調用read,寫入資料,系統調用write。不過話說回來了 ,計算機裡有這麼多的流,我怎麼知道要操作哪個流呢?對,就是檔案描述符,即通常所說的fd,一個fd就是一個整數,是以,對這個整數的操作,就是對這個檔案(流)的操作。我們建立一個socket,通過系統調用會傳回一個檔案描述符,那麼剩下對socket的操作就會轉化為對這個描述符的操作。不能不說這又是一種分層和抽象的思想。

二、同步異步,阻塞非阻塞差別聯系

    實際上同步與異步是針對應用程式與核心的互動而言的。同步過程中程序觸發IO操作并等待(也就是我們說的阻塞)或者輪詢的去檢視IO操作(也就是我們說的非阻塞)是否完成。 異步過程中程序觸發IO操作以後,直接傳回,做自己的事情,IO交給核心來處理,完成後核心通知程序IO完成。

同步和異步針對應用程式來說,關注的是程式中間的協作關系;阻塞與非阻塞更關注的是單個程序的執行狀态。

同步有阻塞和非阻塞之分,異步沒有,它一定是非阻塞的。

阻塞、非阻塞、多路IO複用,都是同步IO,異步必定是非阻塞的,是以不存在異步阻塞和異步非阻塞的說法。真正的異步IO需要CPU的深度參與。換句話說,隻有使用者線程在操作IO的時候根本不去考慮IO的執行全部都交給CPU去完成,而自己隻等待一個完成信号的時候,才是真正的異步IO。是以,拉一個子線程去輪詢、去死循環,或者使用select、poll、epool,都不是異步。

同步:執行一個操作之後,程序觸發IO操作并等待(也就是我們說的阻塞)或者輪詢的去檢視IO操作(也就是我們說的非阻塞)是否完成,等待結果,然後才繼續執行後續的操作。

異步:執行一個操作後,可以去執行其他的操作,然後等待通知再回來執行剛才沒執行完的操作。

阻塞:程序給CPU傳達一個任務之後,一直等待CPU處理完成,然後才執行後面的操作。

非阻塞:程序給CPU傳達任我後,繼續處理後續的操作,隔斷時間再來詢問之前的操作是否完成。這樣的過程其實也叫輪詢。

我認為, 同步與異步的根本差別是:

(1) 這是 BIO,同步阻塞的模型,下面也有,

IO複用,AIO,BIO,NIO,同步,異步,阻塞和非阻塞 差別(百度)

由上面的圖可以看出,IO讀分為兩部分,(a)是資料通過網關到達核心,核心準備好資料,(b)資料從核心緩存寫入使用者緩存。

同步:不管是BIO,NIO,還是IO多路複用,第二步資料從核心緩存寫入使用者緩存一定是由 使用者線程自行讀取資料,處理資料。

異步:第二步資料是核心寫入的,并放在了使用者線程指定的緩存區,寫入完畢後通知使用者線程。

二、阻塞?

什麼是程式的阻塞呢?想象這種情形,比如你等快遞,但快遞一直沒來,你會怎麼做?有兩種方式:

  • 快遞沒來,我可以先去睡覺,然後快遞來了給我打電話叫我去取就行了。
  • 快遞沒來,我就不停的給快遞打電話說:擦,怎麼還沒來,給老子快點,直到快遞來。

很顯然,你無法忍受第二種方式,不僅耽擱自己的時間,也會讓快遞很想打你。

而在計算機世界,這兩種情形就對應阻塞和非阻塞忙輪詢。

  • 非阻塞忙輪詢:資料沒來,程序就不停的去檢測資料,直到資料來。
  • 阻塞:資料沒來,啥都不做,直到資料來了,才進行下一步的處理。

先說說阻塞,因為一個線程隻能處理一個套接字的I/O事件,如果想同時處理多個,可以利用非阻塞忙輪詢的方式,僞代碼如下: 

while true  
{  
    for i in stream[]  
    {  
        if i has data  
        read until unavailable  
    }  
}        

我們隻要把所有流從頭到尾查詢一遍,就可以處理多個流了,但這樣做很不好,因為如果所有的流都沒有I/O事件,白白浪費CPU時間片。正如有一位科學家所說,計算機所有的問題都可以增加一個中間層來解決,同樣,為了避免這裡cpu的空轉,我們不讓這個線程親自去檢查流中是否有事件,而是引進了一個代理(一開始是select,後來是poll),這個代理很牛,它可以同時觀察許多流的I/O事件,如果沒有事件,代理就阻塞,線程就不會挨個挨個去輪詢了,僞代碼如下:  

while true  
{  
    select(streams[]) //這一步死在這裡,知道有一個流有I/O事件時,才往下執行  
    for i in streams[]  
    {  
        if i has data  
        read until unavailable  
    }  
}        

 但是依然有個問題,我們從select那裡僅僅知道了,有I/O事件發生了,卻并不知道是哪那幾個流(可能有一個,多個,甚至全部),我們隻能無差别輪詢所有流,找出能讀出資料,或者寫入資料的流,對他們進行操作。是以select具有O(n)的無差别輪詢複雜度,同時處理的流越多,無差别輪詢時間就越長。

epoll可以了解為event poll,不同于忙輪詢和無差别輪詢,epoll會把哪個流發生了怎樣的I/O事件通知我們。是以我們說epoll實際上是事件驅動(每個事件關聯上fd)的,此時我們對這些流的操作都是有意義的。(複雜度降低到了O(1))僞代碼如下:

while true  
{  
    active_stream[] = epoll_wait(epollfd)  
    for i in active_stream[]  
    {  
        read or write till  
    }  
}        

可以看到,select和epoll最大的差別就是:select隻是告訴你一定數目的流有事件了,至于哪個流有事件,還得你一個一個地去輪詢,而epoll會把發生的事件告訴你,通過發生的事件,就自然而然定位到哪個流了。不能不說epoll跟select相比,是質的飛躍,我覺得這也是一種犧牲空間,換取時間的思想,畢竟現在硬體越來越便宜了。

更詳細的Select,poll,epoll 請參考:select、poll、epoll之間的差別(搜狗面試)

三、I/O多路複用

好了,我們講了這麼多,再來總結一下,到底什麼是I/O多路複用。

先講一下I/O模型:

首先,輸入操作一般包含兩個步驟:

  1. 等待資料準備好(waiting for data to be ready)。對于一個套接口上的操作,這一步驟關系到資料從網絡到達,并将其複制到核心的某個緩沖區。
  2. 将資料從核心緩沖區複制到程序緩沖區(copying the data from the kernel to the process)。

其次了解一下常用的3種I/O模型:

1、阻塞I/O模型(BIO)

最廣泛的模型是阻塞I/O模型,預設情況下,所有套接口都是阻塞的。 程序調用recvfrom系統調用,整個過程是阻塞的,直到資料複制到程序緩沖區時才傳回(當然,系統調用被中斷也會傳回)。

IO複用,AIO,BIO,NIO,同步,異步,阻塞和非阻塞 差別(百度)

2、非阻塞I/O模型(NIO)

當我們把一個套接口設定為非阻塞時,就是在告訴核心,當請求的I/O操作無法完成時,不要将程序睡眠,而是傳回一個錯誤。當資料沒有準備好時,核心立即傳回EWOULDBLOCK錯誤,第四次調用系統調用時,資料已經存在,這時将資料複制到程序緩沖區中。這其中有一個操作時輪詢(polling)。

IO複用,AIO,BIO,NIO,同步,異步,阻塞和非阻塞 差別(百度)

3、I/O複用模型

此模型用到select和poll函數,這兩個函數也會使程序阻塞,select先阻塞,有活動套接字才傳回,但是和阻塞I/O不同的是,這兩個函數可以同時阻塞多個I/O操作,而且可以同時對多個讀操作,多個寫操作的I/O函數進行檢測,直到有資料可讀或可寫(就是監聽多個socket)。select被調用後,程序會被阻塞,核心監視所有select負責的socket,當有任何一個socket的資料準備好了,select就會傳回套接字可讀,我們就可以調用recvfrom處理資料。

正因為阻塞I/O隻能阻塞一個I/O操作,而I/O複用模型能夠阻塞多個I/O操作,是以才叫做多路複用。

IO複用,AIO,BIO,NIO,同步,異步,阻塞和非阻塞 差別(百度)

4、信号驅動I/O模型(signal driven I/O, SIGIO)

  首先我們允許套接口進行信号驅動I/O,并安裝一個信号處理函數,程序繼續運作并不阻塞。當資料準備好時,程序會收到一個SIGIO信号,可以在信号處理函數中調用I/O操作函數處理資料。當資料報準備好讀取時,核心就為該程序産生一個SIGIO信号。我們随後既可以在信号處理函數中調用recvfrom讀取資料報,并通知主循環資料已準備好待處理,也可以立即通知主循環,讓它來讀取資料報。無論如何處理SIGIO信号,這種模型的優勢在于等待資料報到達(第一階段)期間,程序可以繼續執行,不被阻塞。免去了select的阻塞與輪詢,當有活躍套接字時,由注冊的handler處理。

IO複用,AIO,BIO,NIO,同步,異步,阻塞和非阻塞 差別(百度)

5、異步I/O模型(AIO, asynchronous I/O)

  程序發起read操作之後,立刻就可以開始去做其它的事。而另一方面,從kernel的角度,當它受到一個asynchronous read之後,首先它會立刻傳回,是以不會對使用者程序産生任何block。然後,kernel會等待資料準備完成,然後将資料拷貝到使用者記憶體,當這一切都完成之後,kernel會給使用者程序發送一個signal,告訴它read操作完成了。

  這個模型工作機制是:告訴核心啟動某個操作,并讓核心在整個操作(包括第二階段,即将資料從核心拷貝到程序緩沖區中)完成後通知我們。

這種模型和前一種模型差別在于:信号驅動I/O是由核心通知我們何時可以啟動一個I/O操作,而異步I/O模型是由核心通知我們I/O操作何時完成。

IO複用,AIO,BIO,NIO,同步,異步,阻塞和非阻塞 差別(百度)

高性能IO模型淺析  

伺服器端程式設計經常需要構造高性能的IO模型,常見的IO模型有四種:

(1)同步阻塞IO(Blocking IO):即傳統的IO模型。

(2)同步非阻塞IO(Non-blocking IO):預設建立的socket都是阻塞的,非阻塞IO要求socket被設定為NONBLOCK。注意這裡所說的NIO并非Java的NIO(New IO)庫。

(3)IO多路複用(IO Multiplexing):即經典的Reactor設計模式,Java中的Selector和Linux中的epoll都是這種模型。

(4)異步IO(Asynchronous IO):即經典的Proactor設計模式,也稱為異步非阻塞IO。 

為了友善描述,我們統一使用IO的讀操作作為示例。 

一、同步阻塞IO 

同步阻塞IO模型是最簡單的IO模型,使用者線程在核心進行IO操作時被阻塞。

IO複用,AIO,BIO,NIO,同步,異步,阻塞和非阻塞 差別(百度)

圖1 同步阻塞IO

如圖1所示,使用者線程通過系統調用read發起IO讀操作,由使用者空間轉到核心空間。核心等到資料包到達後,然後将接收的資料拷貝到使用者空間,完成read操作。

使用者線程使用同步阻塞IO模型的僞代碼描述為:

{

read(socket, buffer);

process(buffer);

}      

 即使用者需要等待read将socket中的資料讀取到buffer後,才繼續處理接收的資料。整個IO請求的過程中,使用者線程是被阻塞的,這導緻使用者在發起IO請求時,不能做任何事情,對CPU的資源使用率不夠。 

二、同步非阻塞IO 

同步非阻塞IO是在同步阻塞IO的基礎上,将socket設定為NONBLOCK。這樣做使用者線程可以在發起IO請求後可以立即傳回。

IO複用,AIO,BIO,NIO,同步,異步,阻塞和非阻塞 差別(百度)

圖2 同步非阻塞IO

如圖2所示,由于socket是非阻塞的方式,是以使用者線程發起IO請求時立即傳回。但并未讀取到任何資料,使用者線程需要不斷地發起IO請求,直到資料到達後,才真正讀取到資料,繼續執行。

使用者線程使用同步非阻塞IO模型的僞代碼描述為:

{

while(read(socket, buffer) != SUCCESS)

;

process(buffer);

}      

即使用者需要不斷地調用read,嘗試讀取socket中的資料,直到讀取成功後,才繼續處理接收的資料。整個IO請求的過程中,雖然使用者線程每次發起IO請求後可以立即傳回,但是為了等到資料,仍需要不斷地輪詢、重複請求,消耗了大量的CPU的資源。一般很少直接使用這種模型,而是在其他IO模型中使用非阻塞IO這一特性。

三、IO多路複用

IO多路複用模型是建立在核心提供的多路分離函數select基礎之上的,使用select函數可以避免同步非阻塞IO模型中輪詢等待的問題。

IO複用,AIO,BIO,NIO,同步,異步,阻塞和非阻塞 差別(百度)

圖3 多路分離函數select

如圖3所示,使用者首先将需要進行IO操作的socket添加到select中,然後阻塞等待select系統調用傳回。當資料到達時,socket被激活,select函數傳回。使用者線程正式發起read請求,讀取資料并繼續執行。

從流程上來看,使用select函數進行IO請求和同步阻塞模型沒有太大的差別,甚至還多了添加監視socket,以及調用select函數的額外操作,效率更差。但是,使用select以後最大的優勢是使用者可以在一個線程内同時處理多個socket的IO請求。使用者可以注冊多個socket,然後不斷地調用select讀取被激活的socket,即可達到在同一個線程内同時處理多個IO請求的目的。而在同步阻塞模型中,必須通過多線程的方式才能達到這個目的。

使用者線程使用select函數的僞代碼描述為:

{

select(socket);

while(1) {

sockets = select();

for(socket in sockets) {

if(can_read(socket)) {

read(socket, buffer);

process(buffer);

}

}

}

}      

 其中while循環前将socket添加到select監視中,然後在while内一直調用select擷取被激活的socket,一旦socket可讀,便調用read函數将socket中的資料讀取出來。 

然而,使用select函數的優點并不僅限于此。雖然上述方式允許單線程内處理多個IO請求,但是每個IO請求的過程還是阻塞的(在select函數上阻塞),平均時間甚至比同步阻塞IO模型還要長。如果使用者線程隻注冊自己感興趣的socket或者IO請求,然後去做自己的事情,等到資料到來時再進行處理,則可以提高CPU的使用率。

IO多路複用模型使用了Reactor設計模式實作了這一機制。

IO複用,AIO,BIO,NIO,同步,異步,阻塞和非阻塞 差別(百度)

圖4 Reactor設計模式

如圖4所示,EventHandler抽象類表示IO事件處理器,它擁有IO檔案句柄Handle(通過get_handle擷取),以及對Handle的操作handle_event(讀/寫等)。繼承于EventHandler的子類可以對事件處理器的行為進行定制。Reactor類用于管理EventHandler(注冊、删除等),并使用handle_events實作事件循環,不斷調用同步事件多路分離器(一般是核心)的多路分離函數select,隻要某個檔案句柄被激活(可讀/寫等),select就傳回(阻塞),handle_events就會調用與檔案句柄關聯的事件處理器的handle_event進行相關操作。

IO複用,AIO,BIO,NIO,同步,異步,阻塞和非阻塞 差別(百度)

圖5 IO多路複用

如圖5所示,通過Reactor的方式,可以将使用者線程輪詢IO操作狀态的工作統一交給handle_events事件循環進行處理。使用者線程注冊事件處理器之後可以繼續執行做其他的工作(異步),而Reactor線程負責調用核心的select函數檢查socket狀态。當有socket被激活時,則通知相應的使用者線程(或執行使用者線程的回調函數),執行handle_event進行資料讀取、處理的工作。由于select函數是阻塞的,是以多路IO複用模型也被稱為異步阻塞IO模型。注意,這裡的所說的阻塞是指select函數執行時線程被阻塞,而不是指socket。一般在使用IO多路複用模型時,socket都是設定為NONBLOCK的,不過這并不會産生影響,因為使用者發起IO請求時,資料已經到達了,使用者線程一定不會被阻塞。

使用者線程使用IO多路複用模型的僞代碼描述為:

void UserEventHandler::handle_event() {

if(can_read(socket)) {

read(socket, buffer);

process(buffer);

}

}

 

{

Reactor.register(new UserEventHandler(socket));

}      

使用者需要重寫EventHandler的handle_event函數進行讀取資料、處理資料的工作,使用者線程隻需要将自己的EventHandler注冊到Reactor即可。Reactor中handle_events事件循環的僞代碼大緻如下。

Reactor::handle_events() {

while(1) {

sockets = select();

for(socket in sockets) {

get_event_handler(socket).handle_event();

}

}

}      

事件循環不斷地調用select擷取被激活的socket,然後根據擷取socket對應的EventHandler,執行器handle_event函數即可。

IO多路複用是最常使用的IO模型,但是其異步程度還不夠“徹底”,因為它使用了會阻塞線程的select系統調用。是以IO多路複用隻能稱為異步阻塞IO,而非真正的異步IO。 

四、異步IO 

“真正”的異步IO需要作業系統更強的支援。在IO多路複用模型中,事件循環将檔案句柄的狀态事件通知給使用者線程,由使用者線程自行讀取資料、處理資料。而在異步IO模型中,當使用者線程收到通知時,資料已經被核心讀取完畢,并放在了使用者線程指定的緩沖區内,核心在IO完成後通知使用者線程直接使用即可。

異步IO模型使用了Proactor設計模式實作了這一機制。

IO複用,AIO,BIO,NIO,同步,異步,阻塞和非阻塞 差別(百度)

圖6 Proactor設計模式

如圖6,Proactor模式和Reactor模式在結構上比較相似,不過在使用者(Client)使用方式上差别較大。Reactor模式中,使用者線程通過向Reactor對象注冊感興趣的事件監聽,然後事件觸發時調用事件處理函數。而Proactor模式中,使用者線程将AsynchronousOperation(讀/寫等)、Proactor以及操作完成時的CompletionHandler注冊到AsynchronousOperationProcessor。AsynchronousOperationProcessor使用Facade模式提供了一組異步操作API(讀/寫等)供使用者使用,當使用者線程調用異步API後,便繼續執行自己的任務。AsynchronousOperationProcessor 會開啟獨立的核心線程執行異步操作,實作真正的異步。當異步IO操作完成時,AsynchronousOperationProcessor将使用者線程與AsynchronousOperation一起注冊的Proactor和CompletionHandler取出,然後将CompletionHandler與IO操作的結果資料一起轉發給Proactor,Proactor負責回調每一個異步操作的事件完成處理函數handle_event。雖然Proactor模式中每個異步操作都可以綁定一個Proactor對象,但是一般在作業系統中,Proactor被實作為Singleton模式,以便于集中化分發操作完成事件。

IO複用,AIO,BIO,NIO,同步,異步,阻塞和非阻塞 差別(百度)

圖7 異步IO

如圖7所示,異步IO模型中,使用者線程直接使用核心提供的異步IO API發起read請求,且發起後立即傳回,繼續執行使用者線程代碼。不過此時使用者線程已經将調用的AsynchronousOperation和CompletionHandler注冊到核心,然後作業系統開啟獨立的核心線程去處理IO操作。當read請求的資料到達時,由核心負責讀取socket中的資料,并寫入使用者指定的緩沖區中。最後核心将read的資料和使用者線程注冊的CompletionHandler分發給内部Proactor,Proactor将IO完成的資訊通知給使用者線程(一般通過調用使用者線程注冊的完成事件處理函數),完成異步IO。

使用者線程使用異步IO模型的僞代碼描述為:

void UserCompletionHandler::handle_event(buffer) {

process(buffer);

}

 

{

aio_read(socket, new UserCompletionHandler);

}      

 使用者需要重寫CompletionHandler的handle_event函數進行處理資料的工作,參數buffer表示Proactor已經準備好的資料,使用者線程直接調用核心提供的異步IO API,并将重寫的CompletionHandler注冊即可。

相比于IO多路複用模型,異步IO并不十分常用,不少高性能并發服務程式使用IO多路複用模型+多線程任務處理的架構基本可以滿足需求。況且目前作業系統對異步IO的支援并非特别完善,更多的是采用IO多路複用模型模拟異步IO的方式(IO事件觸發時不直接通知使用者線程,而是将資料讀寫完畢後放到使用者指定的緩沖區中)。Java7之後已經支援了異步IO,感興趣的讀者可以嘗試使用。 

參考:高性能IO模型淺析

參考:什麼是IO多路複用,了解IO多路複用

參考:關于同步、異步與阻塞、非阻塞的了解