C++大文件传输

<dl></dl>

<dd>C/C++大文件/数据网络传输方法总结</dd>

<dd></dd>

在C/C++网络中不免会遇到需要传输大数据、大文件的情况，而由于socket本身缓冲区的限制，大概一次只能发送4K左右的数据，所以在传输大数据时客户端就需要进行分包，在目的地重新组包。而实际上已有一些消息/通讯中间件对此进行了封装，提供了直接发送大数据/文件的接口；除此之外，利用共享目录，ftp，ssh等系统命令来实现大文件/数据也不失为一种好的方法。

基础的基于socket进行传输关键在于控制，需要自己行分包和组包。

原理很简单那，我们就直接看一下代码吧。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

<code>    </code><code>//////////////////////////////////////////////////////////////////////// </code>

<code>    </code><code>// file_server.c -- socket文件传输服务器端示例代码  </code>

<code>    </code><code>// ///////////////////////////////////////////////////////////////////// </code>

<code>    </code><code>#include&lt;netinet in.h=</code><code>""</code><code>&gt;  </code>

<code>    </code><code>#include&lt;sys types.h=</code><code>""</code><code>&gt;  </code>

<code>    </code><code>#include&lt;sys socket.h=</code><code>""</code><code>&gt;  </code>

<code>    </code><code>#include&lt;stdio.h&gt;  </code>

<code>    </code><code>#include&lt;stdlib.h&gt;  </code>

<code>    </code><code>#include&lt;string.h&gt;  </code>

<code>      </code> 

<code>    </code><code>#define HELLO_WORLD_SERVER_PORT   </code><code>6666</code> 

<code>    </code><code>#define LENGTH_OF_LISTEN_QUEUE    </code><code>20</code> 

<code>    </code><code>#define BUFFER_SIZE               </code><code>1024</code> 

<code>    </code><code>#define FILE_NAME_MAX_SIZE        </code><code>512</code> 

<code>    </code><code>int</code>

<code>main(</code><code>int</code>

<code>argc,</code><code>char</code>

<code>**argv) </code>

<code>    </code><code>{ </code>

<code>        </code><code>// set socket‘s address information  </code>

<code>        </code><code>// 设置一个socket地址结构server_addr,代表服务器internet的地址和端口 </code>

<code>        </code><code>struct sockaddr_in   server_addr; </code>

<code>        </code><code>bzero(&amp;server_addr, sizeof(server_addr)); </code>

<code>        </code><code>server_addr.sin_family = AF_INET; </code>

<code>        </code><code>server_addr.sin_addr.s_addr = htons(INADDR_ANY); </code>

<code>        </code><code>server_addr.sin_port = htons(HELLO_WORLD_SERVER_PORT); </code>

<code>        </code><code>// create a stream socket  </code>

<code>        </code><code>// 创建用于internet的流协议(TCP)socket，用server_socket代表服务器向客户端提供服务的接口 </code>

<code>        </code><code>int</code>

<code>server_socket = socket(PF_INET, SOCK_STREAM,</code><code>0</code><code>); </code>

<code>        </code><code>if</code>

<code>(server_socket &lt;</code><code>0</code><code>) </code>

<code>        </code><code>{ </code>

<code>            </code><code>printf(Create Socket Failed!</code>

<code>); </code>

<code>            </code><code>exit(</code><code>1</code><code>); </code>

<code>        </code><code>} </code>

<code>        </code><code>// 把socket和socket地址结构绑定  </code>

<code>(bind(server_socket, (struct sockaddr*)&amp;server_addr, sizeof(server_addr))) </code>

<code>            </code><code>printf(Server Bind Port: %d Failed!</code>

<code>, HELLO_WORLD_SERVER_PORT); </code>

<code>        </code><code>// server_socket用于监听  </code>

<code>(listen(server_socket, LENGTH_OF_LISTEN_QUEUE)) </code>

<code>            </code><code>printf(Server Listen Failed!</code>

<code>        </code><code>// 服务器端一直运行用以持续为客户端提供服务  </code>

<code>        </code><code>while</code><code>(</code><code>1</code><code>) </code>

<code>            </code><code>// 定义客户端的socket地址结构client_addr，当收到来自客户端的请求后，调用accept </code>

<code>            </code><code>// 接受此请求，同时将client端的地址和端口等信息写入client_addr中 </code>

<code>            </code><code>struct sockaddr_in client_addr; </code>

<code>            </code><code>socklen_t          length = sizeof(client_addr); </code>

<code>            </code><code>// 接受一个从client端到达server端的连接请求,将客户端的信息保存在client_addr中 </code>

<code>            </code><code>// 如果没有连接请求，则一直等待直到有连接请求为止，这是accept函数的特性，可以 </code>

<code>            </code><code>// 用select()来实现超时检测  </code>

<code>            </code><code>// accpet返回一个新的socket,这个socket用来与此次连接到server的client进行通信 </code>

<code>            </code><code>// 这里的new_server_socket代表了这个通信通道 </code>

<code>            </code><code>int</code>

<code>new_server_socket = accept(server_socket, (struct sockaddr*)&amp;client_addr, &amp;length); </code>

<code>            </code><code>if</code>

<code>(new_server_socket &lt;</code><code>0</code><code>) </code>

<code>            </code><code>{ </code>

<code>                </code><code>printf(Server Accept Failed!</code>

<code>                </code><code>break</code><code>; </code>

<code>            </code><code>} </code>

<code>            </code><code>char</code>

<code>buffer[BUFFER_SIZE]; </code>

<code>            </code><code>bzero(buffer, sizeof(buffer)); </code>

<code>            </code><code>length = recv(new_server_socket, buffer, BUFFER_SIZE,</code><code>0</code><code>); </code>

<code>(length &lt;</code><code>0</code><code>) </code>

<code>                </code><code>printf(Server Recieve Data Failed!</code>

<code>file_name[FILE_NAME_MAX_SIZE +</code><code>1</code><code>]; </code>

<code>            </code><code>bzero(file_name, sizeof(file_name)); </code>

<code>            </code><code>strncpy(file_name, buffer, </code>

<code>                    </code><code>strlen(buffer) &gt; FILE_NAME_MAX_SIZE ? FILE_NAME_MAX_SIZE : strlen(buffer)); </code>

<code>            </code><code>FILE *fp = fopen(file_name, r); </code>

<code>(fp == NULL) </code>

<code>                </code><code>printf(File:    %s Not Found!</code>

<code>, file_name); </code>

<code>            </code><code>else</code> 

<code>                </code><code>bzero(buffer, BUFFER_SIZE); </code>

<code>                </code><code>int</code>

<code>file_block_length =</code><code>0</code><code>; </code>

<code>                </code><code>while</code><code>( (file_block_length = fread(buffer, sizeof(</code><code>char</code><code>), BUFFER_SIZE, fp)) &gt;</code><code>0</code><code>) </code>

<code>                </code><code>{ </code>

<code>                    </code><code>printf(file_block_length = %d</code>

<code>, file_block_length); </code>

<code>                    </code><code>// 发送buffer中的字符串到new_server_socket,实际上就是发送给客户端 </code>

<code>                    </code><code>if</code>

<code>(send(new_server_socket, buffer, file_block_length,</code><code>0</code><code>) &lt;</code><code>0</code><code>) </code>

<code>                    </code><code>{ </code>

<code>                        </code><code>printf(Send File:   %s Failed!</code>

<code>                        </code><code>break</code><code>; </code>

<code>                    </code><code>} </code>

<code>                    </code><code>bzero(buffer, sizeof(buffer)); </code>

<code>                </code><code>} </code>

<code>                </code><code>fclose(fp); </code>

<code>                </code><code>printf(File:    %s Transfer Finished!</code>

<code>            </code><code>close(new_server_socket); </code>

<code>        </code><code>close(server_socket); </code>

<code>        </code><code>return</code>

<code>0</code><code>; </code>

<code>    </code><code>}  &lt;/string.h&gt;&lt;/stdlib.h&gt;&lt;/stdio.h&gt;&lt;/sys&gt;&lt;/sys&gt;&lt;/netinet&gt;</code>

<code>    </code><code>////////////////////////////////////////////////////// </code>

<code>    </code><code>// file_client.c  socket传输文件的client端示例程序  </code>

<code>    </code><code>// /////////////////////////////////////////////////// </code>

<code>    </code><code>#include&lt;netinet in.h=</code><code>""</code><code>&gt;                        </code><code>// for sockaddr_in </code>

<code>    </code><code>#include&lt;sys types.h=</code><code>""</code><code>&gt;                         </code><code>// for socket </code>

<code>    </code><code>#include&lt;sys socket.h=</code><code>""</code><code>&gt;                        </code><code>// for socket </code>

<code>    </code><code>#include&lt;stdio.h&gt;                             </code><code>// for printf </code>

<code>    </code><code>#include&lt;stdlib.h&gt;                            </code><code>// for exit </code>

<code>    </code><code>#include&lt;string.h&gt;                            </code><code>// for bzero </code>

<code>    </code><code>#define HELLO_WORLD_SERVER_PORT      </code><code>6666</code> 

<code>    </code><code>#define BUFFER_SIZE                  </code><code>1024</code> 

<code>    </code><code>#define FILE_NAME_MAX_SIZE           </code><code>512</code> 

<code>(argc !=</code><code>2</code><code>) </code>

<code>            </code><code>printf(Usage: ./%s ServerIPAddress</code>

<code>, argv[</code><code>0</code><code>]); </code>

<code>        </code><code>// 设置一个socket地址结构client_addr, 代表客户机的internet地址和端口 </code>

<code>        </code><code>struct sockaddr_in client_addr; </code>

<code>        </code><code>bzero(&amp;client_addr, sizeof(client_addr)); </code>

<code>        </code><code>client_addr.sin_family = AF_INET;</code><code>// internet协议族 </code>

<code>        </code><code>client_addr.sin_addr.s_addr = htons(INADDR_ANY);</code><code>// INADDR_ANY表示自动获取本机地址 </code>

<code>        </code><code>client_addr.sin_port = htons(</code><code>0</code><code>);</code><code>// auto allocated, 让系统自动分配一个空闲端口 </code>

<code>        </code><code>// 创建用于internet的流协议(TCP)类型socket，用client_socket代表客户端socket </code>

<code>client_socket = socket(AF_INET, SOCK_STREAM,</code><code>0</code><code>); </code>

<code>(client_socket &lt;</code><code>0</code><code>) </code>

<code>        </code><code>// 把客户端的socket和客户端的socket地址结构绑定  </code>

<code>(bind(client_socket, (struct sockaddr*)&amp;client_addr, sizeof(client_addr))) </code>

<code>            </code><code>printf(Client Bind Port Failed!</code>

<code>        </code><code>// 设置一个socket地址结构server_addr,代表服务器的internet地址和端口 </code>

<code>        </code><code>struct sockaddr_in  server_addr; </code>

<code>        </code><code>// 服务器的IP地址来自程序的参数  </code>

<code>(inet_aton(argv[</code><code>1</code><code>], &amp;server_addr.sin_addr) ==</code><code>0</code><code>) </code>

<code>            </code><code>printf(Server IP Address Error!</code>

<code>        </code><code>socklen_t server_addr_length = sizeof(server_addr); </code>

<code>        </code><code>// 向服务器发起连接请求，连接成功后client_socket代表客户端和服务器端的一个socket连接 </code>

<code>(connect(client_socket, (struct sockaddr*)&amp;server_addr, server_addr_length) &lt;</code>

<code>0</code><code>) </code>

<code>            </code><code>printf(Can Not Connect To %s!</code>

<code>, argv[</code><code>1</code><code>]); </code>

<code>        </code><code>char</code>

<code>        </code><code>bzero(file_name, sizeof(file_name)); </code>

<code>        </code><code>printf(Please Input File Name On Server.    ); </code>

<code>        </code><code>scanf(%s, file_name); </code>

<code>        </code><code>bzero(buffer, sizeof(buffer)); </code>

<code>        </code><code>strncpy(buffer, file_name, strlen(file_name) &gt; BUFFER_SIZE ? BUFFER_SIZE : strlen(file_name)); </code>

<code>        </code><code>// 向服务器发送buffer中的数据，此时buffer中存放的是客户端需要接收的文件的名字 </code>

<code>        </code><code>send(client_socket, buffer, BUFFER_SIZE,</code><code>0</code><code>); </code>

<code>        </code><code>FILE *fp = fopen(file_name, w); </code>

<code>            </code><code>printf(File:    %s Can Not Open To Write!</code>

<code>        </code><code>// 从服务器端接收数据到buffer中  </code>

<code>length =</code><code>0</code><code>; </code>

<code>        </code><code>while</code><code>(length = recv(client_socket, buffer, BUFFER_SIZE,</code><code>0</code><code>)) </code>

<code>                </code><code>printf(Recieve Data From Server %s Failed!</code>

<code>write_length = fwrite(buffer, sizeof(</code><code>char</code><code>), length, fp); </code>

<code>(write_length &lt; length) </code>

<code>                </code><code>printf(File:    %s Write Failed!</code>

<code>            </code><code>bzero(buffer, BUFFER_SIZE); </code>

<code>        </code><code>printf(Recieve File:     %s From Server[%s] Finished!</code>

<code>, file_name, argv[</code><code>1</code><code>]); </code>

<code>        </code><code>// 传输完毕，关闭socket  </code>

<code>        </code><code>fclose(fp); </code>

<code>        </code><code>close(client_socket); </code>

<code>    </code><code>} </code>

<code>&lt;/string.h&gt;&lt;/stdlib.h&gt;&lt;/stdio.h&gt;&lt;/sys&gt;&lt;/sys&gt;&lt;/netinet&gt;</code>

为了解决传输大文件的问题，ActiveMQ在jms规范之外引入了jms streams的概念。PTP模式下，连到同一个destination的两端，可以通过broker中转来传输大文件。

发送端使用connection.createOutputStream打开一个输出流，往流里写文件。

OutputStream out =connection.createOutputStream(destination);

接收端则简单的使用connection.createInputStream拿到一个输入流，从中读取文件数据即可。

<code>InputStream in = connection.createInputStream(destination)</code>

详见：http://activemq.apache.org/jms-streams.

ZeroMQ没有直接提供传送文件的接口。但ZeroMQ中send（void * data, size_t len）接口已经做好了封装，可以send任意大小的数据。代码如下：

<code>zmq::context_t ctx(</code><code>1</code><code>);</code>

<code>zmq::socket_t sock(ctx, ZMQ_REQ);</code>

<code>sock.connect(tcp:</code><code>//192.168.20.111:20310);</code>

<code>sock.send(pData,len);</code><code>//数据大小没有限制，可以直接发送任意大小的数据</code>

<code>char</code>

<code>reply[</code><code>100</code><code>];</code>

<code>sock.recv (reply,</code><code>100</code><code>);</code>

<code>sock.disconnect(addr);</code>

接收端代码如下：

<code>m_context =</code><code>new</code>

<code>zmq::context_t(</code><code>1</code><code>);</code>

<code>    </code><code>m_socket =</code><code>new</code>

<code>zmq::socket_t (*m_context, ZMQ_REP);</code>

<code>    </code><code>m_socket-&gt;bind (tcp:</code><code>//*:20310);</code>

<code>    </code><code>zmq::message_t request;</code>

<code>        </code><code>// Wait for next request from client</code>

<code>        </code><code>m_socket-&gt;recv (&amp;request)</code><code>// request可以接受发送来的任意大小的数据</code>

<code>        </code> 

<code>        </code><code>m_socket-&gt;send(ok,</code><code>2</code><code>);</code>

是不是很简单呢？

这就不细说了。要么就是写共享目录，要么就是调用命令。

1)直接基于socket编程难度较高，所以不推荐。

2）使用现有的库方便，但需要学习。一般推荐。

3）共享文件、ftp、scp等难度低，简单易用，在符合使用场景时是首选。（但一些自命不凡的程序员或许会对你嗤之以鼻，考虑之...）