1.redis是基于記憶體的,記憶體的讀寫速度非常快;
2.redis是單線程的,省去了很多上下文切換線程的時間;
3.redis使用多路複用技術,可以處理并發的連接配接;
簡單解釋下第二條:上下文切換就是cpu在多線程之間進行輪流執行(槍戰cpu資源),而redis單線程的,是以避免了繁瑣的多線程上下文切換。
重點解釋下多路複用:
多路-指的是多個socket連接配接,複用-指的是複用一個線程。
目前,多路複用主要有三種技術:select,poll,epoll。它們出現的順序是喲西按後的,越排後的技術改正了之前技術的缺點。epoll是最新的也是目前最好的多路複用技術。
舉個例子:一個酒吧服務員,前面有很多醉漢,epoll這種方式相當于一個醉漢吼了一聲要酒,服務員聽見之後就去給他倒酒,而在這些醉漢沒有要求的時候可以玩玩手機等。但是select和poll技術是這樣的場景:服務員輪流着問各個醉漢要不要倒酒,沒有空閑的時間。io多路複用的意思就是做個醉漢公用一個服務員。
-
select:
1.會修改傳入的參數,對于多個調用的函數來說非常不友好;
2.要是sock(io流出現了資料),select隻能輪詢這去找資料,對于大量的sock來說開銷很大;
3.不是線程安全的,很恐怖;
4.隻能監視1024個連接配接;
-
poll:
1.還不是線程安全的...
2.去掉了1024個連接配接的限制;
3.不修改傳入的參數了;
-
epoll:
1.線程安全了;
2.epoll不僅能告訴你sock有資料,還能告訴你哪個sock有資料,不用輪詢了;
3.however,隻支援linux系統;
作者:superxcp
連結:https://www.jianshu.com/p/b08c1f3bb256
來源:簡書
著作權歸作者所有。商業轉載請聯系作者獲得授權,非商業轉載請注明出處。
多路複用技術:
linux IO多路複用有epoll, poll, select,epoll性能比其他幾者要好。
名詞比較繞口,了解涵義就好。一個epoll場景:一個酒吧服務員(一個線程),前面趴了一群醉漢,突然一個吼一聲“倒酒”(事件),你小跑過去給他倒一杯,然後随他去吧,突然又一個要倒酒,你又過去倒上,就這樣一個服務員服務好多人,有時沒人喝酒,服務員處于空閑狀态,可以幹點别的玩玩手機。至于epoll與select,poll的差別在于後兩者的場景中醉漢不說話,你要挨個問要不要酒,沒時間玩手機了。io多路複用大概就是指這幾個醉漢共用一個服務員。
其實“I/O多路複用”這個坑爹翻譯可能是這個概念在中文裡面如此難了解的原因。所謂的I/O多路複用在英文中其實叫 I/O multiplexing. 如果你搜尋multiplexing啥意思,基本上都會出這個圖:

于是大部分人都直接聯想到"一根網線,多個sock複用" 這個概念,包括上面的幾個回答, 其實不管你用多程序還是I/O多路複用, 網線都隻有一根好伐。多個Sock複用一根網線這個功能是在核心+驅動層實作的。
重要的事情再說一遍: I/O multiplexing 這裡面的 multiplexing 指的其實是在單個線程通過記錄跟蹤每一個Sock(I/O流)的狀态(對應空管塔裡面的Fight progress strip槽)來同時管理多個I/O流. 發明它的原因,是盡量多的提高伺服器的吞吐能力。
是不是聽起來好拗口,看個圖就懂了.
在同一個線程裡面, 通過撥開關的方式,來同時傳輸多個I/O流, (學過EE的人現在可以站出來義正嚴辭說這個叫“時分複用”了)。
什麼,你還沒有搞懂“一個請求到來了,nginx使用epoll接收請求的過程是怎樣的”, 多看看這個圖就了解了。提醒下,ngnix會有很多連結進來, epoll會把他們都監視起來,然後像撥開關一樣,誰有資料就撥向誰,然後調用相應的代碼處理。
-------------------------------------------------------------------------------------------------------------------------
了解這個基本的概念以後,其他的就很好解釋了。
select, poll, epoll 都是I/O多路複用的具體的實作,之是以有這三個鬼存在,其實是他們出現是有先後順序的。
I/O多路複用這個概念被提出來以後, select是第一個實作 (1983 左右在BSD裡面實作的)。
一、select 被實作以後,很快就暴露出了很多問題。
- select 會修改傳入的參數數組,這個對于一個需要調用很多次的函數,是非常不友好的。
- select 如果任何一個sock(I/O stream)出現了資料,select 僅僅會傳回,但是并不會告訴你是那個sock上有資料,于是你隻能自己一個一個的找,10幾個sock可能還好,要是幾萬的sock每次都找一遍,這個無謂的開銷就頗有海天盛筵的豪氣了。
- select 隻能監視1024個連結, 這個跟草榴沒啥關系哦,linux 定義在頭檔案中的,參見FD_SETSIZE。
- select 不是線程安全的,如果你把一個sock加入到select, 然後突然另外一個線程發現,尼瑪,這個sock不用,要收回。對不起,這個select 不支援的,如果你喪心病狂的竟然關掉這個sock, select的标準行為是。。呃。。不可預測的, 這個可是寫在文檔中的哦.
“If a file descriptor being monitored by select() is closed in another thread, the result is unspecified”
霸不霸氣
二、于是14年以後(1997年)一幫人又實作了poll, poll 修複了select的很多問題,比如
- poll 去掉了1024個連結的限制,于是要多少連結呢, 主人你開心就好。
- poll 從設計上來說,不再修改傳入數組,不過這個要看你的平台了,是以行走江湖,還是小心為妙。
其實拖14年那麼久也不是效率問題, 而是那個時代的硬體實在太弱,一台伺服器處理1千多個連結簡直就是神一樣的存在了,select很長段時間已經滿足需求。
但是poll仍然不是線程安全的, 這就意味着,不管伺服器有多強悍,你也隻能在一個線程裡面處理一組I/O流。你當然可以那多程序來配合了,不過然後你就有了多程序的各種問題。
于是5年以後, 在2002, 大神 Davide Libenzi 實作了epoll.
三、epoll 可以說是I/O 多路複用最新的一個實作,epoll 修複了poll 和select絕大部分問題, 比如:
- epoll 現在是線程安全的。
- epoll 現在不僅告訴你sock組裡面資料,還會告訴你具體哪個sock有資料,你不用自己去找了。
可是epoll 有個緻命的缺點,隻有linux支援。比如BSD上面對應的實作是kqueue。
其實有些國内知名廠商把epoll從安卓裡面裁掉這種腦殘的事情我會主動告訴你嘛。什麼,你說沒人用安卓做伺服器,尼瑪你是看不起p2p軟體了啦。
而ngnix 的設計原則裡面, 它會使用目标平台上面最高效的I/O多路複用模型咯,是以才會有這個設定。一般情況下,如果可能的話,盡量都用epoll/kqueue吧。
詳細的在這裡:
Connection processing methods
PS: 上面所有這些比較分析,都建立在大并發下面,如果你的并發數太少,用哪個,其實都沒有差別。 如果像是在歐朋資料中心裡面的轉碼伺服器那種動不動就是幾萬幾十萬的并發,不用epoll我可以直接去撞牆了。
==============================IO多路複用的實作=============================
三、IO多路複用(Reactor)
IO多路複用模型是建立在核心提供的多路分離函數select基礎之上的,使用select函數可以避免同步非阻塞IO模型中輪詢等待的問題。
圖3 多路分離函數select
如圖3所示,使用者首先将需要進行IO操作的socket添加到select中,然後阻塞等待select系統調用傳回。當資料到達時,socket被激活,select函數傳回。使用者線程正式發起read請求,讀取資料并繼續執行。
從流程上來看,使用select函數進行IO請求和同步阻塞模型沒有太大的差別,甚至還多了添加監視socket,以及調用select函數的額外操作,效率更差。但是,使用select以後最大的優勢是使用者可以在一個線程内同時處理多個socket的IO請求。使用者可以注冊多個socket,然後不斷地調用select讀取被激活的socket,即可達到在同一個線程内同時處理多個IO請求的目的。而在同步阻塞模型中,必須通過多線程的方式才能達到這個目的。
使用者線程使用select函數的僞代碼描述為:
{
select(socket);
while(1) {
sockets = select();
for(socket in sockets) {
if(can_read(socket)) {
read(socket, buffer);
process(buffer);
}
其中while循環前将socket添加到select監視中,然後在while内一直調用select擷取被激活的socket,一旦socket可讀,便調用read函數将socket中的資料讀取出來。
然而,使用select函數的優點并不僅限于此。雖然上述方式允許單線程内處理多個IO請求,但是每個IO請求的過程還是阻塞的(在select函數上阻塞),平均時間甚至比同步阻塞IO模型還要長。如果使用者線程隻注冊自己感興趣的socket或者IO請求,然後去做自己的事情,等到資料到來時再進行處理,則可以提高CPU的使用率。
IO多路複用模型使用了Reactor設計模式實作了這一機制。
圖4 Reactor設計模式
如圖4所示,EventHandler抽象類表示IO事件處理器,它擁有IO檔案句柄Handle(通過get_handle擷取),以及對Handle的操作handle_event(讀/寫等)。繼承于EventHandler的子類可以對事件處理器的行為進行定制。Reactor類用于管理EventHandler(注冊、删除等),并使用handle_events實作事件循環,不斷調用同步事件多路分離器(一般是核心)的多路分離函數select,隻要某個檔案句柄被激活(可讀/寫等),select就傳回(阻塞),handle_events就會調用與檔案句柄關聯的事件處理器的handle_event進行相關操作。
圖5 IO多路複用
如圖5所示,通過Reactor的方式,可以将使用者線程輪詢IO操作狀态的工作統一交給handle_events事件循環進行處理。使用者線程注冊事件處理器之後可以繼續執行做其他的工作(異步),而Reactor線程負責調用核心的select函數檢查socket狀态。當有socket被激活時,則通知相應的使用者線程(或執行使用者線程的回調函數),執行handle_event進行資料讀取、處理的工作。由于select函數是阻塞的,是以多路IO複用模型也被稱為異步阻塞IO模型。注意,這裡的所說的阻塞是指select函數執行時線程被阻塞,而不是指socket。一般在使用IO多路複用模型時,socket都是設定為NONBLOCK的,不過這并不會産生影響,因為使用者發起IO請求時,資料已經到達了,使用者線程一定不會被阻塞。
使用者線程使用IO多路複用模型的僞代碼描述為:
void UserEventHandler::handle_event() {
Reactor.register(new UserEventHandler(socket));
使用者需要重寫EventHandler的handle_event函數進行讀取資料、處理資料的工作,使用者線程隻需要将自己的EventHandler注冊到Reactor即可。Reactor中handle_events事件循環的僞代碼大緻如下。
Reactor::handle_events() {
get_event_handler(socket).handle_event();
事件循環不斷地調用select擷取被激活的socket,然後根據擷取socket對應的EventHandler,執行器handle_event函數即可。
IO多路複用是最常使用的IO模型,但是其異步程度還不夠“徹底”,因為它使用了會阻塞線程的select系統調用。是以IO多路複用隻能稱為異步阻塞IO,而非真正的異步IO。
四、異步IO(Proactor)
“真正”的異步IO需要作業系統更強的支援。在IO多路複用模型中,事件循環将檔案句柄的狀态事件通知給使用者線程,由使用者線程自行讀取資料、處理資料。而在異步IO模型中,當使用者線程收到通知時,資料已經被核心讀取完畢,并放在了使用者線程指定的緩沖區内,核心在IO完成後通知使用者線程直接使用即可。
異步IO模型使用了Proactor設計模式實作了這一機制。
圖6 Proactor設計模式
如圖6,Proactor模式和Reactor模式在結構上比較相似,不過在使用者(Client)使用方式上差别較大。Reactor模式中,使用者線程通過向Reactor對象注冊感興趣的事件監聽,然後事件觸發時調用事件處理函數。而Proactor模式中,使用者線程将AsynchronousOperation(讀/寫等)、Proactor以及操作完成時的CompletionHandler注冊到AsynchronousOperationProcessor。AsynchronousOperationProcessor使用Facade模式提供了一組異步操作API(讀/寫等)供使用者使用,當使用者線程調用異步API後,便繼續執行自己的任務。AsynchronousOperationProcessor 會開啟獨立的核心線程執行異步操作,實作真正的異步。當異步IO操作完成時,AsynchronousOperationProcessor将使用者線程與AsynchronousOperation一起注冊的Proactor和CompletionHandler取出,然後将CompletionHandler與IO操作的結果資料一起轉發給Proactor,Proactor負責回調每一個異步操作的事件完成處理函數handle_event。雖然Proactor模式中每個異步操作都可以綁定一個Proactor對象,但是一般在作業系統中,Proactor被實作為Singleton模式,以便于集中化分發操作完成事件。
圖7 異步IO
如圖7所示,異步IO模型中,使用者線程直接使用核心提供的異步IO API發起read請求,且發起後立即傳回,繼續執行使用者線程代碼。不過此時使用者線程已經将調用的AsynchronousOperation和CompletionHandler注冊到核心,然後作業系統開啟獨立的核心線程去處理IO操作。當read請求的資料到達時,由核心負責讀取socket中的資料,并寫入使用者指定的緩沖區中。最後核心将read的資料和使用者線程注冊的CompletionHandler分發給内部Proactor,Proactor将IO完成的資訊通知給使用者線程(一般通過調用使用者線程注冊的完成事件處理函數),完成異步IO。
使用者線程使用異步IO模型的僞代碼描述為:
void UserCompletionHandler::handle_event(buffer) {
aio_read(socket, new UserCompletionHandler);
使用者需要重寫CompletionHandler的handle_event函數進行處理資料的工作,參數buffer表示Proactor已經準備好的資料,使用者線程直接調用核心提供的異步IO API,并将重寫的CompletionHandler注冊即可。
相比于IO多路複用模型,異步IO并不十分常用,不少高性能并發服務程式使用IO多路複用模型+多線程任務處理的架構基本可以滿足需求。況且目前作業系統對異步IO的支援并非特别完善,更多的是采用IO多路複用模型模拟異步IO的方式(IO事件觸發時不直接通知使用者線程,而是将資料讀寫完畢後放到使用者指定的緩沖區中)。Java7之後已經支援了異步IO,感興趣的讀者可以嘗試使用。