C++大檔案傳輸

<dd>C/C++大檔案/資料網絡傳輸方法總結</dd>

在C/C++網絡中不免會遇到需要傳輸大資料、大檔案的情況，而由于socket本身緩沖區的限制，大概一次隻能發送4K左右的資料，是以在傳輸大資料時用戶端就需要進行分包，在目的地重新組包。而實際上已有一些消息/通訊中間件對此進行了封裝，提供了直接發送大資料/檔案的接口；除此之外，利用共享目錄，ftp，ssh等系統指令來實作大檔案/資料也不失為一種好的方法。

基礎的基于socket進行傳輸關鍵在于控制，需要自己行分包群組包。

原理很簡單那，我們就直接看一下代碼吧。

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

<code> </code><code>// file_server.c -- socket檔案傳輸伺服器端示例代碼 </code>

<code> </code><code>#include<netinet in.h=</code><code>""</code><code>> </code>

<code> </code><code>#include<sys types.h=</code><code>""</code><code>> </code>

<code> </code><code>#include<sys socket.h=</code><code>""</code><code>> </code>

<code> </code><code>#include<stdio.h> </code>

<code> </code><code>#include<stdlib.h> </code>

<code> </code><code>#include<string.h> </code>

<code> </code><code>#define HELLO_WORLD_SERVER_PORT </code><code>6666</code>

<code> </code><code>#define LENGTH_OF_LISTEN_QUEUE </code><code>20</code>

<code> </code><code>#define BUFFER_SIZE </code><code>1024</code>

<code> </code><code>#define FILE_NAME_MAX_SIZE </code><code>512</code>

<code> </code><code>// set socket‘s address information </code>

<code> </code><code>// 設定一個socket位址結構server_addr,代表伺服器internet的位址和端口 </code>

<code> </code><code>struct sockaddr_in server_addr; </code>

<code> </code><code>bzero(&server_addr, sizeof(server_addr)); </code>

<code> </code><code>server_addr.sin_family = AF_INET; </code>

<code> </code><code>server_addr.sin_addr.s_addr = htons(INADDR_ANY); </code>

<code> </code><code>server_addr.sin_port = htons(HELLO_WORLD_SERVER_PORT); </code>

<code> </code><code>// create a stream socket </code>

<code> </code><code>// 建立用于internet的流協定(TCP)socket，用server_socket代表伺服器向用戶端提供服務的接口 </code>

<code>server_socket = socket(PF_INET, SOCK_STREAM,</code><code>0</code><code>); </code>

<code>(server_socket <</code><code>0</code><code>) </code>

<code> </code><code>printf(Create Socket Failed!</code>

<code> </code><code>// 把socket和socket位址結構綁定 </code>

<code>(bind(server_socket, (struct sockaddr*)&server_addr, sizeof(server_addr))) </code>

<code> </code><code>printf(Server Bind Port: %d Failed!</code>

<code>, HELLO_WORLD_SERVER_PORT); </code>

<code> </code><code>// server_socket用于監聽 </code>

<code>(listen(server_socket, LENGTH_OF_LISTEN_QUEUE)) </code>

<code> </code><code>printf(Server Listen Failed!</code>

<code> </code><code>// 伺服器端一直運作用以持續為用戶端提供服務 </code>

<code> </code><code>while</code><code>(</code><code>1</code><code>) </code>

<code> </code><code>// 定義用戶端的socket位址結構client_addr，當收到來自用戶端的請求後，調用accept </code>

<code> </code><code>// 接受此請求，同時将client端的位址和端口等資訊寫入client_addr中 </code>

<code> </code><code>struct sockaddr_in client_addr; </code>

<code> </code><code>socklen_t length = sizeof(client_addr); </code>

<code> </code><code>// 接受一個從client端到達server端的連接配接請求,将用戶端的資訊儲存在client_addr中 </code>

<code> </code><code>// 如果沒有連接配接請求，則一直等待直到有連接配接請求為止，這是accept函數的特性，可以 </code>

<code> </code><code>// 用select()來實作逾時檢測 </code>

<code> </code><code>// accpet傳回一個新的socket,這個socket用來與此次連接配接到server的client進行通信 </code>

<code> </code><code>// 這裡的new_server_socket代表了這個通信通道 </code>

<code>new_server_socket = accept(server_socket, (struct sockaddr*)&client_addr, &length); </code>

<code>(new_server_socket <</code><code>0</code><code>) </code>

<code> </code><code>printf(Server Accept Failed!</code>

<code> </code><code>break</code><code>; </code>

<code>buffer[BUFFER_SIZE]; </code>

<code> </code><code>bzero(buffer, sizeof(buffer)); </code>

<code> </code><code>length = recv(new_server_socket, buffer, BUFFER_SIZE,</code><code>0</code><code>); </code>

<code>(length <</code><code>0</code><code>) </code>

<code> </code><code>printf(Server Recieve Data Failed!</code>

<code> </code><code>bzero(file_name, sizeof(file_name)); </code>

<code> </code><code>strncpy(file_name, buffer, </code>

<code> </code><code>strlen(buffer) > FILE_NAME_MAX_SIZE ? FILE_NAME_MAX_SIZE : strlen(buffer)); </code>

<code> </code><code>FILE *fp = fopen(file_name, r); </code>

<code> </code><code>printf(File: %s Not Found!</code>

<code> </code><code>bzero(buffer, BUFFER_SIZE); </code>

<code>file_block_length =</code><code>0</code><code>; </code>

<code> </code><code>while</code><code>( (file_block_length = fread(buffer, sizeof(</code><code>char</code><code>), BUFFER_SIZE, fp)) ></code><code>0</code><code>) </code>

<code> </code><code>printf(file_block_length = %d</code>

<code>, file_block_length); </code>

<code> </code><code>// 發送buffer中的字元串到new_server_socket,實際上就是發送給用戶端 </code>

<code>(send(new_server_socket, buffer, file_block_length,</code><code>0</code><code>) <</code><code>0</code><code>) </code>

<code> </code><code>printf(Send File: %s Failed!</code>

<code> </code><code>break</code><code>; </code>

<code> </code><code>bzero(buffer, sizeof(buffer)); </code>

<code> </code><code>fclose(fp); </code>

<code> </code><code>printf(File: %s Transfer Finished!</code>

<code> </code><code>close(new_server_socket); </code>

<code> </code><code>close(server_socket); </code>

<code> </code><code>return</code>

<code> </code><code>// file_client.c socket傳輸檔案的client端示例程式 </code>

<code> </code><code>#include<netinet in.h=</code><code>""</code><code>> </code><code>// for sockaddr_in </code>

<code> </code><code>#include<sys types.h=</code><code>""</code><code>> </code><code>// for socket </code>

<code> </code><code>#include<sys socket.h=</code><code>""</code><code>> </code><code>// for socket </code>

<code> </code><code>#include<stdio.h> </code><code>// for printf </code>

<code> </code><code>#include<stdlib.h> </code><code>// for exit </code>

<code> </code><code>#include<string.h> </code><code>// for bzero </code>

<code> </code><code>#define HELLO_WORLD_SERVER_PORT </code><code>6666</code>

<code> </code><code>#define BUFFER_SIZE </code><code>1024</code>

<code> </code><code>#define FILE_NAME_MAX_SIZE </code><code>512</code>

<code> </code><code>printf(Usage: ./%s ServerIPAddress</code>

<code> </code><code>// 設定一個socket位址結構client_addr, 代表客戶機的internet位址和端口 </code>

<code> </code><code>struct sockaddr_in client_addr; </code>

<code> </code><code>bzero(&client_addr, sizeof(client_addr)); </code>

<code> </code><code>client_addr.sin_family = AF_INET;</code><code>// internet協定族 </code>

<code> </code><code>client_addr.sin_addr.s_addr = htons(INADDR_ANY);</code><code>// INADDR_ANY表示自動擷取本機位址 </code>

<code> </code><code>client_addr.sin_port = htons(</code><code>0</code><code>);</code><code>// auto allocated, 讓系統自動配置設定一個空閑端口 </code>

<code> </code><code>// 建立用于internet的流協定(TCP)類型socket，用client_socket代表用戶端socket </code>

<code>client_socket = socket(AF_INET, SOCK_STREAM,</code><code>0</code><code>); </code>

<code>(client_socket <</code><code>0</code><code>) </code>

<code> </code><code>// 把用戶端的socket和用戶端的socket位址結構綁定 </code>

<code>(bind(client_socket, (struct sockaddr*)&client_addr, sizeof(client_addr))) </code>

<code> </code><code>printf(Client Bind Port Failed!</code>

<code> </code><code>// 設定一個socket位址結構server_addr,代表伺服器的internet位址和端口 </code>

<code> </code><code>struct sockaddr_in server_addr; </code>

<code> </code><code>// 伺服器的IP位址來自程式的參數 </code>

<code>(inet_aton(argv[</code><code>1</code><code>], &server_addr.sin_addr) ==</code><code>0</code><code>) </code>

<code> </code><code>printf(Server IP Address Error!</code>

<code> </code><code>socklen_t server_addr_length = sizeof(server_addr); </code>

<code> </code><code>// 向伺服器發起連接配接請求，連接配接成功後client_socket代表用戶端和伺服器端的一個socket連接配接 </code>

<code>(connect(client_socket, (struct sockaddr*)&server_addr, server_addr_length) <</code>

<code> </code><code>printf(Can Not Connect To %s!</code>

<code> </code><code>bzero(file_name, sizeof(file_name)); </code>

<code> </code><code>printf(Please Input File Name On Server. ); </code>

<code> </code><code>scanf(%s, file_name); </code>

<code> </code><code>bzero(buffer, sizeof(buffer)); </code>

<code> </code><code>strncpy(buffer, file_name, strlen(file_name) > BUFFER_SIZE ? BUFFER_SIZE : strlen(file_name)); </code>

<code> </code><code>// 向伺服器發送buffer中的資料，此時buffer中存放的是用戶端需要接收的檔案的名字 </code>

<code> </code><code>send(client_socket, buffer, BUFFER_SIZE,</code><code>0</code><code>); </code>

<code> </code><code>FILE *fp = fopen(file_name, w); </code>

<code> </code><code>printf(File: %s Can Not Open To Write!</code>

<code> </code><code>// 從伺服器端接收資料到buffer中 </code>

<code>length =</code><code>0</code><code>; </code>

<code> </code><code>while</code><code>(length = recv(client_socket, buffer, BUFFER_SIZE,</code><code>0</code><code>)) </code>

<code> </code><code>printf(Recieve Data From Server %s Failed!</code>

<code>write_length = fwrite(buffer, sizeof(</code><code>char</code><code>), length, fp); </code>

<code>(write_length < length) </code>

<code> </code><code>printf(File: %s Write Failed!</code>

<code> </code><code>bzero(buffer, BUFFER_SIZE); </code>

<code> </code><code>printf(Recieve File: %s From Server[%s] Finished!</code>

<code> </code><code>// 傳輸完畢，關閉socket </code>

<code> </code><code>fclose(fp); </code>

<code> </code><code>close(client_socket); </code>

為了解決傳輸大檔案的問題，ActiveMQ在jms規範之外引入了jms streams的概念。PTP模式下，連到同一個destination的兩端，可以通過broker中轉來傳輸大檔案。

發送端使用connection.createOutputStream打開一個輸出流，往流裡寫檔案。

OutputStream out =connection.createOutputStream(destination);

接收端則簡單的使用connection.createInputStream拿到一個輸入流，從中讀取檔案資料即可。

<code>InputStream in = connection.createInputStream(destination)</code>

詳見：http://activemq.apache.org/jms-streams.

ZeroMQ沒有直接提供傳送檔案的接口。但ZeroMQ中send（void * data, size_t len）接口已經做好了封裝，可以send任意大小的資料。代碼如下：

<code>zmq::context_t ctx(</code><code>1</code><code>);</code>

<code>zmq::socket_t sock(ctx, ZMQ_REQ);</code>

<code>sock.connect(tcp:</code><code>//192.168.20.111:20310);</code>

<code>sock.send(pData,len);</code><code>//資料大小沒有限制，可以直接發送任意大小的資料</code>

<code>reply[</code><code>100</code><code>];</code>

<code>sock.recv (reply,</code><code>100</code><code>);</code>

<code>sock.disconnect(addr);</code>

接收端代碼如下：

<code>m_context =</code><code>new</code>

<code>zmq::context_t(</code><code>1</code><code>);</code>

<code> </code><code>m_socket =</code><code>new</code>

<code>zmq::socket_t (*m_context, ZMQ_REP);</code>

<code> </code><code>m_socket->bind (tcp:</code><code>//*:20310);</code>

<code> </code><code>zmq::message_t request;</code>

<code> </code><code>// Wait for next request from client</code>

<code> </code><code>m_socket->recv (&request)</code><code>// request可以接受發送來的任意大小的資料</code>

<code> </code><code>m_socket->send(ok,</code><code>2</code><code>);</code>

是不是很簡單呢？

這就不細說了。要麼就是寫共享目錄，要麼就是調用指令。

1)直接基于socket程式設計難度較高，是以不推薦。

2）使用現有的庫友善，但需要學習。一般推薦。

3）共享檔案、ftp、scp等難度低，簡單易用，在符合使用場景時是首選。（但一些自命不凡的程式員或許會對你嗤之以鼻，考慮之...）

C++大檔案傳輸

繼續閱讀

Java小案例——随機數猜測随機數猜測

nginx location中斜線的位置的重要性

27 Best Free Eclipse Plug-ins for Java Developer to be ProductiveCode Quality PluginsText Editor PluginsDependency ManagementVersion Control Integration PluginsFramework Development Continuous Integration Related PluginsOther Utility Plugins

Java String.format方法的簡單使用

neo4j之cypher使用文檔

GitHub連夜封殺！這份阿裡 10W 字内部 Java 字面試手冊到底有多強？

QR碼編碼原理三（日本漢字和中文編碼）

spark/scala關于【資源檔案】加載方法概述外部檔案加載方案測試資源檔案打包入jar包中小結

mybatis_入門程式Mybatis入門

AOP程式設計_Android優雅權限架構(1)概念基礎，2021金三銀四前言正文大綱正文

Effective Java 8:通用程式設計

OOM三種類型

工廠模式-三種類型

【遞歸】高效率求2的n次幂

win10本地scala和spark安裝安裝scala安裝spark

scala (3) Function 和 Method