[cpp]
view plain
copy
1、關于位元組排序 網際協定采用大端位元組序,來傳輸多位元組整數。 系統提供了轉換的宏定義,如果主機與網際協定相同,則宏定義為空。
2、用戶端 socket -> connect(阻塞,三次握手)-> rcv
3、伺服器端 socket -> bind -> listen -> accept(阻塞,三次握手)-> send4、函數介紹
a..socket
1)函數原型 int socket(int family, int type, int protocol)
2)參數: family: 協定族AF_INET,IPv4協定 ... type : type 套接字類型SOCK_STREAM 位元組流套接字 protocol: IPPROCO_TCP IPPROCO_UDP IPPROCO_SCTP
3)傳回值 成功:傳回套接字元 錯誤:傳回INVALID_SOCKET(-1)
4)示例
[cpp]
view plain
copy
- #include <netinet/in.h>
- #include <sys/types.h>
- #include <sys/socket.h>
- int
- {
- int
- struct
- if((socketfd = socket(AF_INET, SOCK_STREAM, 0)) == -1)
- {
- return
- }
- }
b..connect
1)函數原型 int connect(int sockfd, const struct sockaddr *servaddr, socklen_t addrlen)
2)參數:
sockfd: socket 函數傳回的套接字描述符
servaddr : 伺服器的IP和端口
addrlen: 長度(sizeof(servaddr))
3)傳回值
成功:0
錯誤:傳回INVALID_SOCKET(-1)
4)示例
[cpp]
view plain
copy
- #include <stdio.h>
- #include <string.h>
- #include <netinet/in.h>
- #include <sys/types.h>
- #include <sys/socket.h>
- int
- {
- int
- struct
- if((socketfd = socket(AF_INET, SOCK_STREAM, 0)) == -1)
- {
- "socket error\n");
- return
- }
- sizeof(servaddr));
- "192.168.0.218");
- servaddr.sin_family = AF_INET;
- servaddr.sin_port = htons(55000);
- if(connect(socketfd, (struct sockaddr*) &servaddr, sizeof(servaddr)) < 0)
- {
- "connect error\n");
- }
- return
- }
c..bind
1)函數原型 int bind(int sockfd, const struct sockaddr *servaddr, socklen_t addrlen)
2)參數:
sockfd: socket 函數傳回的套接字描述符
servaddr : 伺服器的IP和端口
addrlen: 長度(sizeof(servaddr))
3)傳回值
成功:0
錯誤:傳回INVALID_SOCKET(-1)
d..listen
1)函數原型 int listen(int sockfd, int backlog)
2)參數:
sockfd: socket 函數傳回的套接字描述符
backlog : 核心中套接字排隊的最大個數
3)傳回值
成功:0
錯誤:傳回INVALID_SOCKET
e..accept
1)函數原型 int accept(int sockfd, const struct sockaddr *servaddr, socklen_t *addrlen)
2)參數:
sockfd: socket 函數傳回的套接字描述符
3)傳回值
servaddr : 客戶程序的IP和端口(可設為null)
addrlen: 長度(sizeof(servaddr))(可設為null)
成功:從監聽套接字傳回已連接配接套接字
錯誤:
如果對客戶資訊不感興趣,後兩個參數可以置空。
4)示例
[cpp]
view plain
copy
- #include <stdio.h>
- #include <string.h>
- #include <netinet/in.h>
- #include <sys/types.h>
- #include <sys/socket.h>
- int
- {
- int
- int
- int
- struct
- struct
- char
- "accept started\n");
- //socket
- if((listenfd = socket(AF_INET, SOCK_STREAM, 0)) == -1)
- {
- "socket error\n");
- return
- }
- sizeof(servaddr));
- servaddr.sin_addr.s_addr = htonl(INADDR_ANY);
- servaddr.sin_family = AF_INET;
- servaddr.sin_port = htons(59000);
- //bind
- if(bind(listenfd, (struct sockaddr*)&servaddr, sizeof(servaddr)) < 0)
- {
- "bind error\n");
- //return -1;
- }
- //listen
- listen(listenfd, 5);
- //accept
- socketfd = accept(listenfd, NULL, NULL);
- while(1)
- {
- "start receive %d...\n", count++);
- sizeof(readbuf), 0);
- nread = recv(socketfd, readbuf, 10, 0);
- if(nread>0)
- {
- '\0';
- "receiveed %s, nread = %d\n\n", readbuf, nread);
- }
- }
- return
- }
/**************************************************************
從 I/O 事件分派機制來看,使用 select()是不合适的,因為它所支援的并發連接配接數有限(通
常在 1024 個以内)。如果考慮性能,poll()也是不合适的,盡管它可以支援的較高的 TCP 并發
數,但是由于其采用“輪詢”機制,當并發數較高時,其運作效率相當低,并可能存在 I/O 事
件分派不均,導緻部分 TCP 連接配接上的 I/O 出現“饑餓”現象。而如果使用 epoll 或 AIO,則沒
有上述問題(早期 Linux 核心的 AIO 技術實作是通過在核心中為每個 I/O 請求建立一個線程來
實作的,這種實作機制在高并發 TCP 連接配接的情形下使用其實也有嚴重的性能問題。但在最新的
Linux 核心中,AIO 的實作已經得到改進)。
支援一個程序打開大數目的 socket 描述符(FD)select 最不能忍受的是一個程序所打開的
FD 是有一定限制的,由 FD_SETSIZE 設定,預設值是 2048。對于那些需要支援的上萬連接配接數目
的 IM 伺服器來說顯然太少了。
這時候你一是可以選擇修改這個宏然後重新編譯核心,不過資料
也同時指出這樣會帶來網絡效率的下降,二是可以選擇多程序的解決方案(傳統的 Apache 方
案),不過雖然 linux 上面建立程序的代價比較小,但仍舊是不可忽視的,加上程序間資料同步
遠比不上線程間同步的高效,是以也不是一種完美的方案。不過 epoll 則沒有這個限制,它所
支援的 FD 上限是最大可以打開檔案的數目,這個數字一般遠大于 2048,舉個例子,在 1GB 記憶體
的機器上大約是 10 萬左右,具體數目可以 cat /proc/sys/fs/file-max 察看,一般來說這個數
目和系統記憶體關系很大。
******************************************************************/
5. select函數
1)函數原型 int select(int maxfdp,fd_set *readfds,fd_set *writefds,fd_set *errorfds,struct timeval *timeout);
2)參數:
sockfd: socket 函數傳回的套接字描述符
readfds : 讀描述符集合
writefds: 寫描述符集合
errorfds: 錯誤描述符集合
timeout: 逾時
3)傳回值
成功:傳回值 0:無 >0:描述符就緒的總位數
錯誤:傳回INVALID_SOCKET(-1)
4)包含頭檔案: include <sys/select.h> include <sys/time.h>
5)示例
[cpp]
view plain
copy
- /* 實作功能:通過select處理多個socket
- * 監聽一個端口,監聽到有連結時,添加到select的w.
- */
- #include "select.h"
- #include <stdio.h>
- #include <stdlib.h>
- #include <sys/socket.h>
- #include <sys/select.h>
- #include <sys/time.h>
- #include <netinet/in.h>
- typedef struct
- int
- struct sockaddr_in addr; /* client's address information */
- } CLIENT;
- #define MYPORT 59000
- //最多處理的connect
- #define BACKLOG 5
- //最多處理的connect
- CLIENT client[BACKLOG];
- //目前的連接配接數
- int
- //資料接受 buf
- #define REVLEN 10
- char
- //顯示目前的connection
- void
- int
- {
- int
- int
- fd_set readfds, writefds;
- int
- struct
- struct
- struct
- for(i=0; i<BACKLOG; i++)
- {
- client[i].fd = -1;
- }
- //socket
- if((sockListen=socket(AF_INET, SOCK_STREAM, 0)) < 0)
- {
- "socket error\n");
- return
- }
- sizeof(server_addr));
- server_addr.sin_family = AF_INET;
- server_addr.sin_port = htons(MYPORT);
- server_addr.sin_addr.s_addr = htonl(INADDR_ANY);
- //bind
- if(bind(sockListen, (struct sockaddr*)&server_addr, sizeof(server_addr)) < 0)
- {
- "bind error\n");
- return
- }
- //listen
- if(listen(sockListen, 5) < 0)
- {
- "listen error\n");
- return
- }
- for(i=0; i<BACKLOG; i++)
- {
- client[i].fd = -1;
- }
- //select
- while(1)
- {
- FD_ZERO(&readfds);
- FD_SET(sockListen, &readfds);
- sockMax = sockListen;
- //加入client
- for(i=0; i<BACKLOG; i++)
- {
- if(client[i].fd >0)
- {
- FD_SET(client[i].fd, &readfds);
- if(sockMax<client[i].fd)
- sockMax = client[i].fd;
- }
- }
- timeout.tv_sec=3;
- timeout.tv_usec=0;
- //select
- int)sockMax+1, &readfds, NULL, NULL, &timeout);
- if(ret < 0)
- {
- "select error\n");
- break;
- }
- else if(ret == 0)
- {
- "timeout ...\n");
- continue;
- }
- "test111\n");
- //讀取資料
- for(i=0; i<BACKLOG; i++)
- {
- if(client[i].fd>0 && FD_ISSET(client[i].fd, &readfds))
- {
- if(recvLen != REVLEN)
- {
- while(1)
- {
- //recv資料
- char
- if(ret == 0)
- {
- client[i].fd = -1;
- recvLen = 0;
- break;
- }
- else if(ret < 0)
- {
- client[i].fd = -1;
- recvLen = 0;
- break;
- }
- //資料接受正常
- recvLen = recvLen+ret;
- if(recvLen<REVLEN)
- {
- continue;
- }
- else
- {
- //資料接受完畢
- "%s, buf = %s\n", inet_ntoa(client[i].addr.sin_addr) , recvBuf);
- //close(client[i].fd);
- //client[i].fd = -1;
- recvLen = 0;
- break;
- }
- }
- }
- }
- }
- //如果可讀
- if(FD_ISSET(sockListen, &readfds))
- {
- "isset\n");
- //(struct sockaddr*)&client_addr
- if(sockSvr == -1)
- {
- "accpet error\n");
- }
- else
- {
- currentClient++;
- }
- for(i=0; i<BACKLOG; i++)
- {
- if(client[i].fd < 0)
- {
- client[i].fd = sockSvr;
- client[i].addr = client_addr;
- "You got a connection from %s \n",inet_ntoa(client[i].addr.sin_addr) );
- break;
- }
- }
- //close(sockListen);
- }
- }
- "test\n");
- return
- }
- //顯示目前的connection
- void
- {
- int
- "client count = %d\n", currentClient);
- for(i=0; i<BACKLOG; i++)
- {
- "[%d] = %d", i, client[i].fd);
- }
- "\n");
- }
6. poll函數
1)函數原型 int select(int maxfdp,fd_set *readfds,fd_set *writefds,fd_set *errorfds,struct timeval *timeout);
2)參數:
sockfd: socket 函數傳回的套接字描述符
readfds : 讀描述符集合
writefds: 寫描述符集合
errorfds: 錯誤描述符集合
timeout: 逾時
3)傳回值
成功:傳回值 0:無 >0:描述符就緒的總位數
錯誤:傳回INVALID_SOCKET(-1)
4)包含頭檔案: include <sys/select.h> include <sys/time.h>
5) 示例
[cpp]
view plain
copy
- /* 實作功能:通過poll, 處理多個socket
- * 監聽一個端口,監聽到有連結時,添加到poll.
- */
- #include "select.h"
- #include <stdio.h>
- #include <stdlib.h>
- #include <string.h>
- #include <sys/socket.h>
- #include <poll.h>
- #include <sys/time.h>
- #include <netinet/in.h>
- typedef struct
- int
- struct sockaddr_in addr; /* client's address information */
- } CLIENT;
- #define MYPORT 59000
- //最多處理的connect
- #define BACKLOG 5
- //目前的連接配接數
- int
- //資料接受 buf
- #define REVLEN 10
- char
- #define OPEN_MAX 1024
- int
- {
- int
- int
- fd_set readfds, writefds;
- int
- int
- struct
- struct
- struct
- //socket
- if((sockListen=socket(AF_INET, SOCK_STREAM, 0)) < 0)
- {
- "socket error\n");
- return
- }
- sizeof(server_addr));
- server_addr.sin_family = AF_INET;
- server_addr.sin_port = htons(MYPORT);
- server_addr.sin_addr.s_addr = htonl(INADDR_ANY);
- //bind
- if(bind(sockListen, (struct sockaddr*)&server_addr, sizeof(server_addr)) < 0)
- {
- "bind error\n");
- return
- }
- //listen
- if(listen(sockListen, 5) < 0)
- {
- "listen error\n");
- return
- }
- //clientfd 初始化
- clientfd[0].fd = sockListen;
- //POLLRDNORM;
- sockMax = 0;
- for(i=1; i<OPEN_MAX; i++)
- {
- clientfd[i].fd = -1;
- }
- //select
- while(1)
- {
- timeout=3000;
- //select
- ret = poll(clientfd, sockMax+1, timeout);
- if(ret < 0)
- {
- "select error\n");
- break;
- }
- else if(ret == 0)
- {
- "timeout ...\n");
- continue;
- }
- if (clientfd[0].revents & POLLIN)//POLLRDNORM
- {
- //(struct sockaddr*)&client_addr
- if(sockSvr == -1)
- {
- "accpet error\n");
- }
- else
- {
- currentClient++;
- }
- for(i=0; i<OPEN_MAX; i++)
- {
- if(clientfd[i].fd<0)
- {
- clientfd[i].fd = sockSvr;
- break;
- }
- }
- if(i==OPEN_MAX)
- {
- "too many connects\n");
- return
- }
- //POLLRDNORM;
- if(i>sockMax)
- sockMax = i;
- }
- //讀取資料
- for(i=1; i<=sockMax; i++)
- {
- if(clientfd[i].fd < 0)
- continue;
- if (clientfd[i].revents & (POLLIN | POLLERR))//POLLRDNORM
- {
- if(recvLen != REVLEN)
- {
- while(1)
- {
- //recv資料
- char
- if(ret == 0)
- {
- clientfd[i].fd = -1;
- recvLen = 0;
- break;
- }
- else if(ret < 0)
- {
- clientfd[i].fd = -1;
- recvLen = 0;
- break;
- }
- //資料接受正常
- recvLen = recvLen+ret;
- if(recvLen<REVLEN)
- {
- continue;
- }
- else
- {
- //資料接受完畢
- "buf = %s\n", recvBuf);
- //close(client[i].fd);
- //client[i].fd = -1;
- recvLen = 0;
- break;
- }
- }
- }
- }
- }
- }
- return
- }
6. epoll函數
2. 常用模型的缺點
如果不擺出來其他模型的缺點,怎麼能對比出 Epoll 的優點呢。
2.1 PPC/TPC 模型
這兩種模型思想類似,就是讓每一個到來的連接配接一邊自己做事去,别再來煩我 。隻是 PPC 是為它開了一個程序,而 TPC 開了一個線程。可是别煩我是有代價的,它要時間和空間啊,連接配接多了之後,那麼多的程序 / 線程切換,這開銷就上來了;是以這類模型能接受的最大連接配接數都不會高,一般在幾百個左右。
2.2 select 模型
1. 最大并發數限制,因為一個程序所打開的 FD (檔案描述符)是有限制的,由 FD_SETSIZE 設定,預設值是 1024/2048 ,是以 Select 模型的最大并發數就被相應限制了。自己改改這個 FD_SETSIZE ?想法雖好,可是先看看下面吧 …
2. 效率問題, select 每次調用都會線性掃描全部的 FD 集合,這樣效率就會呈現線性下降,把 FD_SETSIZE 改大的後果就是,大家都慢慢來,什麼?都逾時了??!!
3. 核心 / 使用者空間 記憶體拷貝問題,如何讓核心把 FD 消息通知給使用者空間呢?在這個問題上 select 采取了記憶體拷貝方法。
2.3 poll 模型
基本上效率和 select 是相同的, select 缺點的 2 和 3 它都沒有改掉。
3. Epoll 的提升
把其他模型逐個批判了一下,再來看看 Epoll 的改進之處吧,其實把 select 的缺點反過來那就是 Epoll 的優點了。
3.1. Epoll 沒有最大并發連接配接的限制,上限是最大可以打開檔案的數目,這個數字一般遠大于 2048, 一般來說這個數目和系統記憶體關系很大 ,具體數目可以 cat /proc/sys/fs/file-max 察看。
3.2. 效率提升, Epoll 最大的優點就在于它隻管你“活躍”的連接配接 ,而跟連接配接總數無關,是以在實際的網絡環境中, Epoll 的效率就會遠遠高于 select 和 poll 。
3.3. 記憶體拷貝, Epoll 在這點上使用了“共享記憶體 ”,這個記憶體拷貝也省略了。
4. Epoll 為什麼高效
Epoll 的高效和其資料結構的設計是密不可分的,這個下面就會提到。
首先回憶一下 select 模型,當有 I/O 事件到來時, select 通知應用程式有事件到了快去處理,而應用程式必須輪詢所有的 FD 集合,測試每個 FD 是否有事件發生,并處理事件;代碼像下面這樣:
int res = select(maxfd+1, &readfds, NULL, NULL, 120);
if (res > 0)
{
for (int i = 0; i < MAX_CONNECTION; i++)
{
if (FD_ISSET(allConnection[i], &readfds))
{
handleEvent(allConnection[i]);
}
}
}
// if(res == 0) handle timeout, res < 0 handle error
Epoll 不僅會告訴應用程式有I/0 事件到來,還會告訴應用程式相關的資訊,這些資訊是應用程式填充的,是以根據這些資訊應用程式就能直接定位到事件,而不必周遊整個FD 集合。
int res = epoll_wait(epfd, events, 20, 120);
for (int i = 0; i < res;i++)
{
handleEvent(events[n]);
}
5. Epoll 關鍵資料結構
前面提到 Epoll 速度快和其資料結構密不可分,其關鍵資料結構就是:
struct epoll_event {
__uint32_t events; // Epoll events
epoll_data_t data; // User data variable
};
typedef union epoll_data {
void *ptr;
int fd;
__uint32_t u32;
__uint64_t u64;
} epoll_data_t;
可見 epoll_data 是一個 union 結構體 , 借助于它應用程式可以儲存很多類型的資訊 :fd 、指針等等。有了它,應用程式就可以直接定位目标了。
6. 使用 Epoll
既然 Epoll 相比 select 這麼好,那麼用起來如何呢?會不會很繁瑣啊 … 先看看下面的三個函數吧,就知道 Epoll 的易用了。
int epoll_create(int size);
生成一個 Epoll 專用的檔案描述符,其實是申請一個核心空間,用來存放你想關注的 socket fd 上是否發生以及發生了什麼事件。 size 就是你在這個 Epoll fd 上能關注的最大 socket fd 數,大小自定,隻要記憶體足夠。
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event );
控制某個 Epoll 檔案描述符上的事件:注冊、修改、删除。其中參數 epfd 是 epoll_create() 建立 Epoll 專用的檔案描述符。相對于 select 模型中的 FD_SET 和 FD_CLR 宏。
op:EPOLL_CTL_ADD
Register the target file descriptor fd on the epoll instance
EPOLL_CTL_MOD
Change the event event associated with the target file descriptor fd.
EPOLL_CTL_DEL
Remove (deregister) the target file descriptor fd from the epoll instance
int epoll_wait(int epfd,struct epoll_event * events,int maxevents,int timeout);
等待 I/O 事件的發生;參數說明:
epfd: 由 epoll_create() 生成的 Epoll 專用的檔案描述符;
epoll_event: 用于回傳代處理事件的數組;
maxevents: 每次能處理的事件數;
timeout: 等待 I/O 事件發生的逾時值,機關 ms
傳回發生事件數。
相對于 select 模型中的 select 函數。
- /* 實作功能:通過epoll, 處理多個socket
- * 監聽一個端口,監聽到有連結時,添加到epoll_event
- */
- #include "select.h"
- #include <stdio.h>
- #include <stdlib.h>
- #include <string.h>
- #include <sys/socket.h>
- #include <poll.h>
- #include <sys/epoll.h>
- #include <sys/time.h>
- #include <netinet/in.h>
- typedef struct
- int
- struct sockaddr_in addr; /* client's address information */
- } CLIENT;
- #define MYPORT 59000
- //最多處理的connect
- #define MAX_EVENTS 500
- //目前的連接配接數
- int
- //資料接受 buf
- #define REVLEN 10
- char
- //EPOLL相關
- //epoll描述符
- int
- //事件數組
- struct
- void AcceptConn(int
- void RecvData(int
- int
- {
- int
- int
- fd_set readfds, writefds;
- int
- int
- struct
- struct
- //socket
- if((sockListen=socket(AF_INET, SOCK_STREAM, 0)) < 0)
- {
- "socket error\n");
- return
- }
- sizeof(server_addr));
- server_addr.sin_family = AF_INET;
- server_addr.sin_port = htons(MYPORT);
- server_addr.sin_addr.s_addr = htonl(INADDR_ANY);
- //bind
- if(bind(sockListen, (struct sockaddr*)&server_addr, sizeof(server_addr)) < 0)
- {
- "bind error\n");
- return
- }
- //listen
- if(listen(sockListen, 5) < 0)
- {
- "listen error\n");
- return
- }
- //1. epoll 初始化
- epollfd = epoll_create(MAX_EVENTS);
- struct
- event.events = EPOLLIN|EPOLLET;
- event.data.fd = sockListen;
- //2. epoll_ctrl
- if(epoll_ctl(epollfd, EPOLL_CTL_ADD, sockListen, &event) < 0)
- {
- "epoll add fail : fd = %d\n", sockListen);
- return
- }
- //epoll
- while(1)
- {
- timeout=3000;
- //3. epoll_wait
- int
- if(ret < 0)
- {
- "epoll error\n");
- break;
- }
- else if(ret == 0)
- {
- "timeout ...\n");
- continue;
- }
- //直接擷取了事件數量,給出了活動的流,這裡是和poll差別的關鍵
- int
- for(n=0; n<ret; n++)
- {
- //錯誤退出
- if
- (eventList[n].events & EPOLLHUP) ||
- !(eventList[n].events & EPOLLIN))
- {
- "epoll error\n");
- close (eventList[n].data.fd);
- return
- }
- if
- {
- AcceptConn(sockListen);
- else{
- RecvData(eventList[n].data.fd);
- //不删除
- // epoll_ctl(epollfd, EPOLL_CTL_DEL, pEvent->data.fd, pEvent);
- }
- }
- }
- close(epollfd);
- close(sockListen);
- "test\n");
- return
- }
- /**************************************************
- 函數名:AcceptConn
- 功能:接受用戶端的連結
- 參數:srvfd:監聽SOCKET
- ***************************************************/
- void AcceptConn(int
- {
- struct
- sizeof(struct
- bzero(&sin, len);
- int confd = accept(srvfd, (struct
- if
- {
- "bad accept\n");
- return;
- else
- {
- "Accept Connection: %d", confd);
- }
- //setnonblocking(confd);
- //4. epoll_wait
- //将建立立的連接配接添加到EPOLL的監聽中
- struct
- event.data.fd = confd;
- event.events = EPOLLIN|EPOLLET;
- epoll_ctl(epollfd, EPOLL_CTL_ADD, confd, &event);
- }
- //讀取資料
- void RecvData(int
- {
- int
- int
- memset(recvBuf, 0, REVLEN);
- "RecvData function\n");
- if(recvLen != REVLEN)
- {
- while(1)
- {
- //recv資料
- char
- if(ret == 0)
- {
- recvLen = 0;
- break;
- }
- else if(ret < 0)
- {
- recvLen = 0;
- break;
- }
- //資料接受正常
- recvLen = recvLen+ret;
- if(recvLen<REVLEN)
- {
- continue;
- }
- else
- {
- //資料接受完畢
- "buf = %s\n", recvBuf);
- recvLen = 0;
- break;
- }
- }
- }
- "content is %s", recvBuf);
- }