在C/C++⽹络中不免会遇到需要传输⼤数据、⼤⽂件的情况，⽽由于socket本⾝缓冲区的限制，⼤概⼀次只能发送4K左右的数据，所以在传输⼤数据时客户端就需要进⾏分包，在⽬的地重新组包。⽽实际上已有⼀些消息/通讯中间件对此进⾏了封装，提供了直接发送⼤数据/⽂件的接⼝；除此之外，利⽤共享⽬
录，ftp，ssh等命令来实现⼤⽂件/数据也不失为⼀种好的⽅法。
1.基础的基于socket进⾏传输
基础的基于socket进⾏传输关键在于控制，需要⾃⼰⾏分包和组包。
原理很简单那，我们就直接看⼀下代码吧。
// file_server.c -- socket⽂件传输服务器端⽰例代码
// /
#include<netinet in.h="">
#include<sys types.h="">
#include<sys socket.h="">
#include<stdio.h>
#include<stdlib.h>
#include<string.h>
大文件发送#define HELLO_WORLD_SERVER_PORT 6666
#define LENGTH_OF_LISTEN_QUEUE 20
#define BUFFER_SIZE 1024
#define FILE_NAME_MAX_SIZE 512
int main(int argc, char **argv)
{
// set socket's address information
// 设置⼀个socket地址结构server_addr，代表服务器internet的地址和端⼝
struct sockaddr_in server_addr;
bzero(&server_addr, sizeof(server_addr));
server_addr.sin_family = AF_INET;
server_addr.sin_addr.s_addr = htons(INADDR_ANY);
server_addr.sin_port = htons(HELLO_WORLD_SERVER_PORT);
// create a stream socket
/
/ 创建⽤于internet的流协议(TCP)socket，⽤server_socket代表服务器向客户端提供服务的接⼝
int server_socket = socket(PF_INET, SOCK_STREAM, 0);
if (server_socket < 0)
{
printf(Create Socket Failed!
);
exit(1);
}
// 把socket和socket地址结构绑定
if (bind(server_socket, (struct sockaddr*)&server_addr, sizeof(server_addr)))
{
printf(Server Bind Port: %d Failed!
printf(Server Bind Port: %d Failed!
, HELLO_WORLD_SERVER_PORT);
exit(1);
}
// server_socket⽤于监听
if (listen(server_socket, LENGTH_OF_LISTEN_QUEUE))
{
printf(Server Listen Failed!
);
exit(1);
}
// 服务器端⼀直运⾏⽤以持续为客户端提供服务
while(1)
{
// 定义客户端的socket地址结构client_addr，当收到来⾃客户端的请求后，调⽤accept
// 接受此请求，同时将client端的地址和端⼝等信息写⼊client_addr中
struct sockaddr_in client_addr;
socklen_t length = sizeof(client_addr);
// 接受⼀个从client端到达server端的连接请求，将客户端的信息保存在client_addr中
// 如果没有连接请求，则⼀直等待直到有连接请求为⽌，这是accept函数的特性，可以
// ⽤select()来实现超时检测
/
/ accpet返回⼀个新的socket，这个socket⽤来与此次连接到server的client进⾏通信
// 这⾥的new_server_socket代表了这个通信通道
int new_server_socket = accept(server_socket, (struct sockaddr*)&client_addr, &length); if (new_server_socket < 0)
{
printf(Server Accept Failed!
);
break;
}
char buffer[BUFFER_SIZE];
bzero(buffer, sizeof(buffer));
length = recv(new_server_socket, buffer, BUFFER_SIZE, 0);
if (length < 0)
{
printf(Server Recieve Data Failed!
);
break;
}
char file_name[FILE_NAME_MAX_SIZE + 1];
bzero(file_name, sizeof(file_name));
strncpy(file_name, buffer,
strlen(buffer) > FILE_NAME_MAX_SIZE ? FILE_NAME_MAX_SIZE : strlen(buffer));
FILE *fp = fopen(file_name, r);
if (fp == NULL)
{
printf(File: %s Not Found!
, file_name);
}
else
{
bzero(buffer, BUFFER_SIZE);
int file_block_length = 0;
while( (file_block_length = fread(buffer, sizeof(char), BUFFER_SIZE, fp)) > 0)
{
printf(file_block_length = %d
, file_block_length);
// 发送buffer中的字符串到new_server_socket，实际上就是发送给客户端
if (send(new_server_socket, buffer, file_block_length, 0) < 0)
if (send(new_server_socket, buffer, file_block_length, 0) < 0)
{
printf(Send File: %s Failed!
, file_name);
break;
}
bzero(buffer, sizeof(buffer));
}
fclose(fp);
printf(File: %s Transfer Finished!
, file_name);
}
close(new_server_socket);
}
close(server_socket);
return 0;
} </string.h></stdlib.h></stdio.h></sys></sys></netinet>
//
/
/ file_client.c socket传输⽂件的client端⽰例程序
// ///
#include<netinet in.h=""> // for sockaddr_in
#include<sys types.h=""> // for socket
#include<sys socket.h=""> // for socket
#include<stdio.h> // for printf
#include<stdlib.h> // for exit
#include<string.h> // for bzero
#define HELLO_WORLD_SERVER_PORT 6666
#define BUFFER_SIZE 1024
#define FILE_NAME_MAX_SIZE 512
int main(int argc, char **argv)
{
if (argc != 2)
{
printf(Usage: ./%s ServerIPAddress
, argv[0]);
exit(1);
}
// 设置⼀个socket地址结构client_addr, 代表客户机的internet地址和端⼝
struct sockaddr_in client_addr;
bzero(&client_addr, sizeof(client_addr));
client_addr.sin_family = AF_INET; // internet协议族
client_addr.sin_addr.s_addr = htons(INADDR_ANY); // INADDR_ANY表⽰⾃动获取本机地址 client_addr.sin_port = htons(0); // auto allocated, 让系统⾃动分配⼀个空闲端⼝
// 创建⽤于internet的流协议(TCP)类型socket，⽤client_socket代表客户端socket
int client_socket = socket(AF_INET, SOCK_STREAM, 0);
if (client_socket < 0)
{
printf(Create Socket Failed!
);
exit(1);
}
// 把客户端的socket和客户端的socket地址结构绑定
if (bind(client_socket, (struct sockaddr*)&client_addr, sizeof(client_addr)))
if (bind(client_socket, (struct sockaddr*)&client_addr, sizeof(client_addr)))
{
printf(Client Bind Port Failed!
);
exit(1);
}
// 设置⼀个socket地址结构server_addr，代表服务器的internet地址和端⼝
struct sockaddr_in server_addr;
bzero(&server_addr, sizeof(server_addr));
server_addr.sin_family = AF_INET;
/
/ 服务器的IP地址来⾃程序的参数
if (inet_aton(argv[1], &server_addr.sin_addr) == 0)
{
printf(Server IP Address Error!
);
exit(1);
}
server_addr.sin_port = htons(HELLO_WORLD_SERVER_PORT);
socklen_t server_addr_length = sizeof(server_addr);
// 向服务器发起连接请求，连接成功后client_socket代表客户端和服务器端的⼀个socket连接
if (connect(client_socket, (struct sockaddr*)&server_addr, server_addr_length) < 0)
{
printf(Can Not Connect To %s!
, argv[1]);
exit(1);
}
char file_name[FILE_NAME_MAX_SIZE + 1];
bzero(file_name, sizeof(file_name));
printf(Please Input File Name On Server. );
scanf(%s, file_name);
char buffer[BUFFER_SIZE];
bzero(buffer, sizeof(buffer));
strncpy(buffer, file_name, strlen(file_name) > BUFFER_SIZE ? BUFFER_SIZE : strlen(file_name)); // 向服务器发送buffer中的数据，此时buffer中存放的是客户端需要接收的⽂件的名字
send(client_socket, buffer, BUFFER_SIZE, 0);
FILE *fp = fopen(file_name, w);
if (fp == NULL)
{
printf(File: %s Can Not Open To Write!
, file_name);
exit(1);
}
// 从服务器端接收数据到buffer中
bzero(buffer, sizeof(buffer));
int length = 0;
while(length = recv(client_socket, buffer, BUFFER_SIZE, 0))
{
if (length < 0)
{
printf(Recieve Data From Server %s Failed!
, argv[1]);
break;
}
int write_length = fwrite(buffer, sizeof(char), length, fp);
if (write_length < length)
{
printf(File: %s Write Failed!
printf(File: %s Write Failed!
, file_name);
break;
}
bzero(buffer, BUFFER_SIZE);
}
printf(Recieve File: %s From Server[%s] Finished!
, file_name, argv[1]);
// 传输完毕，关闭socket
fclose(fp);
close(client_socket);
return 0;
}
</string.h></stdlib.h></stdio.h></sys></sys></netinet>
2.使⽤现有的通讯中间件
2.1 ActiveMQ 传送⽂件接⼝
为了解决传输⼤⽂件的问题，ActiveMQ在jms规范之外引⼊了jms streams的概念。PTP模式下，连到同⼀个destination的两端，可以通过broker中转来传输⼤⽂件。
发送端使⽤ateOutputStream打开⼀个输出流，往流⾥写⽂件。
OutputStream out =ateOutputStream(destination);
接收端则简单的使⽤ateInputStream拿到⼀个输⼊流，从中读取⽂件数据即可。
InputStream in = ateInputStream(destination)
2.2 ZeroMQ 接⼝
ZeroMQ没有直接提供传送⽂件的接⼝。但ZeroMQ中send（void * data, size_t len）接⼝已经做好了封装，可以send任意⼤⼩的数据。代码如下：
zmq::context_t ctx(1);
zmq::socket_t sock(ctx, ZMQ_REQ);
sock.send(pData,len);//数据⼤⼩没有限制，可以直接发送任意⼤⼩的数据
char reply[100];
sock.disconnect(addr);
接收端如下：
发布评论