下面來分别對這幾個問題進行分析.
- 作業系統能否支援百萬連接配接?
對于絕大部分 Linux 作業系統, 預設情況下确實不支援 C1000K! 因為作業系統包含最大打開檔案數(Max Open Files)限制, 分為系統全局的, 和程序級的限制.
全局限制
在 Linux 下執行:
cat /proc/sys/fs/file-nr
會列印出類似下面的一行輸出:
5100 0 101747
第三個數字 101747 就是目前系統的全局最大打開檔案數(Max Open Files), 可以看到, 隻有 10 萬, 是以, 在這台伺服器上無法支援 C1000K. 很多系統的這個數值更小, 為了修改這個數值, 用 root 權限修改 /etc/sysctl.conf 檔案:
fs.file-max = 1020000
net.ipv4.ip_conntrack_max = 1020000
net.ipv4.netfilter.ip_conntrack_max = 1020000
程序限制
執行:
ulimit -n
輸出:
1024
說明目前 Linux 系統的每一個程序隻能最多打開 1024 個檔案. 為了支援 C1000K, 你同樣需要修改這個限制.
臨時修改
ulimit -n 1020000
不過, 如果你不是 root, 可能不能修改超過 1024, 會報錯:
-bash: ulimit: open files: cannot modify limit: Operation not permitted
永久修改
編輯 /etc/security/limits.conf 檔案, 加入如下行:
/etc/security/limits.conf
work hard nofile 1020000
work soft nofile 1020000
第一列的 work 表示 work 使用者, 你可以填 *, 或者 root. 然後儲存退出, 重新登入伺服器.
注意: Linux 核心源碼中有一個常量(NR_OPEN in /usr/include/linux/fs.h), 限制了最大打開檔案數, 如 RHEL 5 是 1048576(2^20), 是以, 要想支援 C1000K, 你可能還需要重新編譯核心.
- 作業系統維持百萬連接配接需要多少記憶體?
解決了作業系統的參數限制, 接下來就要看看記憶體的占用情況. 首先, 是作業系統本身維護這些連接配接的記憶體占用. 對于 Linux 作業系統, socket(fd) 是一個整數, 是以, 猜想作業系統管理一百萬個連接配接所占用的記憶體應該是 4M/8M, 再包括一些管理資訊, 應該會是 100M 左右. 不過, 還有 socket 發送和接收緩沖區所占用的記憶體沒有分析. 為此, 我寫了最原始的 C 網絡程式來驗證:
伺服器
include
define MAX_PORTS 10
int main(int argc, char **argv){
struct sockaddr_in addr;
const char *ip = "0.0.0.0";
int opt = 1;
int bufsize;
socklen_t optlen;
int connections = 0;
int base_port = 7000;
if(argc > 2){
base_port = atoi(argv[1]);
}
int server_socks[MAX_PORTS];
for(int i=0; i maxfd){
maxfd = server_socks[i];
int ret = select(maxfd + 1, &readset, NULL, NULL, NULL);
if(ret < 0){
if(errno == EINTR){
continue;
}else{
printf("select error! %sn", strerror(errno));
exit(0);
if(ret > 0){
for(int i=0; i
注意, 伺服器監聽了 10 個端口, 這是為了測試友善. 因為隻有一台用戶端測試機, 最多隻能跟同一個 IP 端口建立 30000 多個連接配接, 是以伺服器監聽了 10 個端口, 這樣一台測試機就可以和伺服器之間建立 30 萬個連接配接了.
用戶端
if(argc <= 2){
printf("Usage: %s ip portn", argv[0]);
const char *ip = argv[1];
int base_port = atoi(argv[2]);
bzero(&addr, sizeof(addr));
addr.sin_family = AF_INET;
inet_pton(AF_INET, ip, &addr.sin_addr);
char tmp_data[10];
int index = 0;
while(1){
if(++index >= 10){
index = 0;
int port = base_port + index;
printf("connect to %s:%dn", ip, port);
addr.sin_port = htons((short)port);
int sock;
if((sock = socket(AF_INET, SOCK_STREAM, 0)) == -1){
goto sock_err;
if(connect(sock, (struct sockaddr *)&addr, sizeof(addr)) == -1){
connections ++;
printf("connections: %d, fd: %dn", connections, sock);
if(connections % 10000 == 9999){
printf("press Enter to continue: ");
getchar();
usleep(1 * 1000);
/*
bufsize = 5000;
setsockopt(serv_sock, SOL_SOCKET, SO_SNDBUF, &bufsize, sizeof(bufsize));
setsockopt(serv_sock, SOL_SOCKET, SO_RCVBUF, &bufsize, sizeof(bufsize));
*/
return 0;
sock_err:
printf("error: %sn", strerror(errno));
我測試 10 萬個連接配接, 這些連接配接是空閑的, 什麼資料也不發送也不接收. 這時, 程序隻占用了不到 1MB 的記憶體. 但是, 通過程式退出前後的 free 指令對比, 發現作業系統用了 200M(大緻)記憶體來維護這 10 萬個連接配接! 如果是百萬連接配接的話, 作業系統本身就要占用 2GB 的記憶體! 也即 2KB 每連接配接.
可以修改
/proc/sys/net/ipv4/tcp_wmem
/proc/sys/net/ipv4/tcp_rmem
來控制 TCP 連接配接的發送和接收緩沖的大小(多謝 @egmkang).
- 應用程式維持百萬連接配接需要多少記憶體?
通過上面的測試代碼, 可以發現, 應用程式維持百萬個空閑的連接配接, 隻會占用作業系統的記憶體, 通過 ps 指令檢視可知, 應用程式本身幾乎不占用記憶體.
- 百萬連接配接的吞吐量是否超過了網絡限制?
假設百萬連接配接中有 20% 是活躍的, 每個連接配接每秒傳輸 1KB 的資料, 那麼需要的網絡帶寬是 0.2M x 1KB/s x 8 = 1.6Gbps, 要求伺服器至少是萬兆網卡(10Gbps).
總結
Linux 系統需要修改核心參數和系統配置, 才能支援 C1000K. C1000K 的應用要求伺服器至少需要 2GB 記憶體, 如果應用本身還需要記憶體, 這個要求應該是至少 10GB 記憶體. 同時, 網卡應該至少是萬兆網卡.
當然, 這僅僅是理論分析, 實際的應用需要更多的記憶體和 CPU 資源來處理業務資料.
參考:
- http://www.cyberciti.biz/faq/linux-increase-the-maximum-number-of-open-files/
- http://www.lognormal.com/blog/2012/09/27/linux-tcpip-tuning/ 好啦，今天的分享到這裡就結束了，如果需要更多的技術性文章，可以通路馬哥教育官網歐！
![ACS基本配置-權限等級管理[圖]](data:image/gif;base64,R0lGODlhAQABAIAAAP///wAAACwAAAAAAQABAAACAkQBADs=)