C++ 网络编程学习三
- 用智能指针延长session的生命周期
- 处理粘包问题
用智能指针延长session的生命周期
问题:
客户端断开后:会触发服务器对应session的写或读事件,由于是异步编程,需要在回调中对读写事件进行处理。
客户端断开, 则应该析构掉该session。但是此时该session在asio底层回调队列中可能还有很多读写函数对象在排队等着执行 。 如果在某个读写回调对象把这个session析构掉了,那之后执行的读写回调函数可能会再次析构这个session。
所以我们需要保证, 在该session对应asio底层回调队列中,还存在将要执行的读写回调函数时,该session不被析构。通过智能指针来实现伪闭包,延长session的生命周期。
-
智能指针传给函数对象,函数对象不释放,智能指针也就不会被释放掉。
-
把智能指针传递给session用的回调函数,函数内部再使用智能指针,这个时候智能指针就不被释放。
-
假如包含智能指针的函数没有调用怎么办?用lambda表达式和bind强制将智能指针中的shared_ptr加1。
-
构造一个伪闭包:
- 利用智能指针被复制或使用引用计数加一的原理保证内存不被回收
bind操作可以将值绑定在一个函数对象上生成新的函数对象
,如果将智能指针作为参数绑定给函数对象,那么智能指针就以值的方式被新函数对象使用,那么智能指针的生命周期将和新生成的函数对象一致
,从而达到延长生命的效果。
// 包含智能指针的Server类。
class CServer
{
public:// 构造函数CServer(boost::asio::io_context& io_context, short port);void ClearSession(std::string uuid);
private:void HandleAccept(std::shared_ptr<CSession>, const boost::system::error_code& error);void StartAccept();boost::asio::io_context& _io_context;// 上下文short _port;// 端口tcp::acceptor _acceptor;// 通过智能指针方式管理Session类,将acceptor接收的连接保存在Session类型的智能指针里。// 在Server类中添加成员变量,该变量为一个map类型,key为Session的uid,value为该Session的智能指针。std::map<std::string, std::shared_ptr<CSession>> _sessions;// 通过Server中的_sessions这个map管理链接,可以增加Session智能指针的引用计数,只有当Session从这个map中移除后,Session才会被释放。};class CSession :public std::enable_shared_from_this<CSession> {
public:// 上下文初始化CSession,socket绑定上下文CSession(boost::asio::io_context& io_context, CServer* server);tcp::socket& GetSocket() { return _socket; }std::string& GetUuid() { return _uuid; }void Start();void Send(char* msg, int max_length);
private:enum { MAX_LENGTH = 1024 };void HandleRead(const boost::system::error_code& error, size_t bytes_transferred, std::shared_ptr<CSession> _self_shared);void HandleWrite(const boost::system::error_code& error, std::shared_ptr<CSession> _self_shared);tcp::socket _socket;std::string _uuid;char _data[MAX_LENGTH];CServer* _server;std::queue<std::shared_ptr<MsgNode> > _send_que;std::mutex _send_lock;};
// CServer类
CServer::CServer(boost::asio::io_context& io_context, short port): _io_context(io_context), _acceptor(io_context, tcp::endpoint(tcp::v4(), port)) {cout << "Server start success, on port: " << port << endl;StartAccept();
}void CServer::StartAccept() {// new_session虽然是一个局部变量,但是通过智能指针和bind操作,将new_session作为数值传递给bind函数。// bind函数返回的函数对象内部引用了该new_session,所以引用计数加1,这样保证了new_session不会被释放。std::shared_ptr<CSession> new_session = make_shared<CSession>(_io_context, this);// placeholders::_1 占位符的作用是给HandleAccept函数一个错误码关键字。_acceptor.async_accept(new_session->GetSocket(), std::bind(&CServer::HandleAccept, this, new_session, placeholders::_1));
}void CServer::HandleAccept(std::shared_ptr<CSession> new_session, const boost::system::error_code& error) {if (!error) {new_session->Start();// 在接收连接的逻辑里将Session放入map_sessions.insert(make_pair(new_session->GetUuid(), new_session));// make_pair是圆括号,不是尖括号}else {cout << "session accept failed, error is " << error.what() << endl;}StartAccept();// 继续接收连接就是了
}// 将session从map中移除,当其引用计数为0时,自动释放
void CServer::ClearSession(std::string uuid) {_sessions.erase(uuid);
}// CSession类
// 构造函数
CSession::CSession(boost::asio::io_context& ioc, CServer* server) :_socket(ioc), _server(server) {boost::uuids::uuid a_uuid = boost::uuids::random_generator()(); //boost提供的生成唯一id的函数_uuid = boost::uuids::to_string(a_uuid);// 将随机数转成string
}void CSession::Start() {memset(_data, 0, MAX_LENGTH);// 数据读到_data中,触发HandleRead回调,注意不能再定义一个智能指针。// shared_from_this()函数可以还用当前的智能指针。_socket.async_read_some(boost::asio::buffer(_data, MAX_LENGTH),std::bind(&CSession::HandleRead,this, std::placeholders::_1, std::placeholders::_2, shared_from_this()));
}void CSession::HandleRead(const boost::system::error_code& error, size_t bytes_transferred, std::shared_ptr<CSession> _self_shared) {if (!error) {cout << "read data is " << _data << endl;//发送数据Send(_data, bytes_transferred);// 继续read,重复调用HandleReadmemset(_data, 0, MAX_LENGTH);_socket.async_read_some(boost::asio::buffer(_data, MAX_LENGTH), std::bind(&CSession::HandleRead, this,std::placeholders::_1, std::placeholders::_2, _self_shared));}else {std::cout << "handle write failed, error is " << error.what() << endl;_server->ClearSession(_uuid);// 杀死session}
}void CSession::HandleWrite(const boost::system::error_code& error, std::shared_ptr<CSession> _self_shared) {if (!error) {// 写数据的时候上锁std::lock_guard<std::mutex> lock(_send_lock);// 调用HandleWrite,说明肯定已经发送完一个数据,这个时候弹出一下,后面只要发送队列不为空,就一直发送。_send_que.pop();if (!_send_que.empty()) {auto& msgnode = _send_que.front();boost::asio::async_write(_socket, boost::asio::buffer(msgnode->_msg, msgnode->_total_len),std::bind(&CSession::HandleWrite, this, std::placeholders::_1, _self_shared));}}else {std::cout << "handle write failed, error is " << error.what() << endl;_server->ClearSession(_uuid);// 杀死session}
}// 实现发送接口
void CSession::Send(char* msg, int max_length) {bool pending = false; // pending为true表示上一次数据没有发完。std::lock_guard<std::mutex> lock(_send_lock);if (_send_que.size() > 0) {pending = true;}_send_que.push(make_shared<MsgNode>(msg, max_length)); // 队列里有数据,就不发送了,让队列里面的回调函数发送就行了。if (pending) {return;}boost::asio::async_write(_socket, boost::asio::buffer(msg, max_length),std::bind(&CSession::HandleWrite,this,std::placeholders::_1,shared_from_this()));
}
处理粘包问题
粘包问题:当客户端发送多个数据包给服务器时,服务器底层的tcp接收缓冲区收到的数据为粘连在一起的,是服务器的问题,不是客户端的问题。
客户端发送: hello world! hello world!
服务器接收:hello world! hello world!
客户端给服务器发送了两个hello world! 服务其TCP缓冲区接收了两次,但是第一次接收的数据粘包了。
粘包原因:TCP发送数据的时候,数据逻辑性出了问题。
- TCP底层通信是面向字节流的,TCP只保证发送数据的准确性和顺序性,字节流以字节为单位。
- 客户端每次发送N个字节给服务端,N取决于当前客户端的发送缓冲区是否有数据。比如发送缓冲区总大小为10字节,当前有5字节未发送完,那么此时只有5个字节的空闲时间。
- 此时调用接口发送hello world!, 就只能发送hello给服务器,那么服务器这次接收到的数据很可能就是连着其他数据的hello,下次才能收到world!。
还有其他产生粘包问题的原因:
- 客户端的发送频率远高于服务器的接收频率,服务器接收不过来,就会导致数据在服务器的tcp接收缓冲区滞留形成粘连。
- tcp底层的安全和效率机制不允许字节数特别少的小包发送频率过高,tcp会在底层累计数据长度到一定大小才一起发送。
处理粘包的方法
:主要采用应用层定义收发包格式的方式,这个过程俗称切包处理。用消息id+消息长度+消息内容的tlv协议去切割数据包。
在代码中对粘包进行处理:
- 定义新的数据结构体,数据包含两部分:消息长度+消息内容,用额外的2字节去存储当前消息的长度。
- 接收消息数据的CSession类也需要更新。
- 数据初始化的时候,就要初始化头部信息。
完善加上粘包处理后的逻辑:
- 头部未解析:
- 收到的数据不是满足头部的大小:未处理的数据加上头部当前缓存的数据,如果小于2字节,就说明头部数据没有接收完。
- 收到的数据比头部多:头部的信息已经接收完,取出头部信息。定义数据节点,取出数据信息。
- 若数据节点的长度< 头部信息长度:数据还没收完。将数据放到接收节点中,更新信息。
- 若数据节点的长度大于等于头部信息长度:取出首包全部数据,头部节点清楚一下,轮询切包。
- 头部已解析:已经处理完头部,消息体没有接收完。
- 消息体还没有接收全:当前数据拷贝到消息节点里,继续监听对方发送。
- 消息体长度够了,拷贝信息到消息节点,更新变量,把剩下的数据轮询切包。
void CSession::HandleRead(const boost::system::error_code& error, size_t bytes_transferred, std::shared_ptr<CSession> shared_self) {if (!error) {/** copy_len 已经移动的字符数:调用一次HandleRead:会返回总共收到的字节数,会从零开始处理到bytes_transferred这么大,中间会有一些其他的处理,copy_len表示处理到哪里了。*/ int copy_len = 0; //copy_len表示处理到哪里了while (bytes_transferred > 0) {if (!_b_head_parse) { // 最开始的时候头部肯定还没有被解析// 先判断收到的数据是不是满足头部的大小:未处理的数据加上头部当前缓存的数据,如果小于2字节,就说明头部数据没有接收完if (bytes_transferred + _recv_head_node->_cur_len < HEAD_LENGTH) {// 将数据全部拷贝到头部节点memcpy(_recv_head_node->_data + _recv_head_node->_cur_len, _data + copy_len, bytes_transferred);_recv_head_node->_cur_len += bytes_transferred;//已经拷贝了,头部节点已经处理的长度就要更新::memset(_data, 0, MAX_LENGTH);//清空// 继续去监听读事件_socket.async_read_some(boost::asio::buffer(_data, MAX_LENGTH),std::bind(&CSession::HandleRead, this, std::placeholders::_1, std::placeholders::_2, shared_self));return;}else {// 收到的数据比头部多// 头部剩余未复制的长度int head_remain = HEAD_LENGTH - _recv_head_node->_cur_len;memcpy(_recv_head_node->_data + _recv_head_node->_cur_len, _data + copy_len, head_remain);// 更新已处理的data长度copy_len 和 剩余未处理的长度bytes_transferredcopy_len += head_remain;bytes_transferred -= head_remain;// 获取头部数据 打印数据长度short data_len = 0;memcpy(&data_len, _recv_head_node->_data, HEAD_LENGTH);cout << "data_len is " << data_len << endl;//头部长度非法 断开连接if (data_len > MAX_LENGTH) {std::cout << "invalid data length is " << data_len << endl;_server->ClearSession(_uuid);return;}_recv_msg_node = make_shared<MsgNode>(data_len); //数据节点// 消息的长度小于头部规定的长度,说明数据没有收全,则先将部分消息放在接收节点里if (bytes_transferred < data_len) {// 拷贝到节点里memcpy(_recv_msg_node->_data + _recv_msg_node->_cur_len, _data + copy_len, bytes_transferred);_recv_msg_node->_cur_len += bytes_transferred;::memset(_data, 0, MAX_LENGTH);// 继续去接收读事件把_socket.async_read_some(boost::asio::buffer(_data, MAX_LENGTH),std::bind(&CSession::HandleRead, this, std::placeholders::_1, std::placeholders::_2, shared_self));//头部处理完成_b_head_parse = true;return;}// 消息的长度大于等于头部规定的长度,说明这一节数据已经收齐了,可以读取接收了,需要进行切包。memcpy(_recv_msg_node->_data + _recv_msg_node->_cur_len, _data + copy_len, data_len);_recv_msg_node->_cur_len += data_len;copy_len += data_len;bytes_transferred -= data_len;_recv_msg_node->_data[_recv_msg_node->_total_len] = '\0'; //第一个消息包的数据取完了cout << "receive data is " << _recv_msg_node->_data << endl;//此处可以调用Send发送测试Send(_recv_msg_node->_data, _recv_msg_node->_total_len);//继续轮询剩余未处理数据_b_head_parse = false;_recv_head_node->Clear();if (bytes_transferred <= 0) {::memset(_data, 0, MAX_LENGTH);_socket.async_read_some(boost::asio::buffer(_data, MAX_LENGTH),std::bind(&CSession::HandleRead, this, std::placeholders::_1, std::placeholders::_2, shared_self));return;}continue;}}else {//已经处理完头部,处理上次未接受完的消息数据//接收的数据仍不足剩余未处理的int remain_msg = _recv_msg_node->_total_len - _recv_msg_node->_cur_len;// 这次接收到的消息体,还不满足整合成一个数据结构体。if (bytes_transferred < remain_msg) {memcpy(_recv_msg_node->_data + _recv_msg_node->_cur_len, _data + copy_len, bytes_transferred);_recv_msg_node->_cur_len += bytes_transferred;::memset(_data, 0, MAX_LENGTH);_socket.async_read_some(boost::asio::buffer(_data, MAX_LENGTH),std::bind(&CSession::HandleRead, this, std::placeholders::_1, std::placeholders::_2, shared_self));return;}// 接收的消息已经满足形成一个数据包结构体了,memcpy(_recv_msg_node->_data + _recv_msg_node->_cur_len, _data + copy_len, remain_msg);_recv_msg_node->_cur_len += remain_msg;bytes_transferred -= remain_msg;copy_len += remain_msg;_recv_msg_node->_data[_recv_msg_node->_total_len] = '\0';cout << "receive data is " << _recv_msg_node->_data << endl;//此处可以调用Send发送测试Send(_recv_msg_node->_data, _recv_msg_node->_total_len);//继续轮询剩余未处理数据_b_head_parse = false;_recv_head_node->Clear();if (bytes_transferred <= 0) {::memset(_data, 0, MAX_LENGTH);_socket.async_read_some(boost::asio::buffer(_data, MAX_LENGTH),std::bind(&CSession::HandleRead, this, std::placeholders::_1, std::placeholders::_2, shared_self));return;}continue;}}}else {std::cout << "handle write failed, error is " << error.what() << endl;_server->ClearSession(_uuid);// 杀死session}
}
- 对于客户端:发送和接收数据的时候,也要先发送两个字节的数据长度,再发送数据消息的结构。
try{// 创建上下文服务boost::asio::io_context ioc;//构造endpointtcp::endpoint remote_ep(asio::ip::address::from_string("127.0.0.1"), 10086);tcp::socket sock(ioc);boost::system::error_code error = boost::asio::error::host_not_found; ;sock.connect(remote_ep, error);if (error) {cout << "connect failed, code is " << error.value() << " error msg is " << error.message();return 0;}std::cout << "Enter message: ";char request[MAX_LENGTH];std::cin.getline(request, MAX_LENGTH); //输入数据size_t request_length = strlen(request);char send_data[MAX_LENGTH] = { 0 };memcpy(send_data, &request_length, 2); // 先首部2字节,构造数据长度memcpy(send_data + 2, request, request_length); // 再构造数据体boost::asio::write(sock, boost::asio::buffer(send_data, request_length + 2));char reply_head[HEAD_LENGTH];size_t reply_length = boost::asio::read(sock, boost::asio::buffer(reply_head, HEAD_LENGTH)); // 先接收头部,获取信息长度short msglen = 0;memcpy(&msglen, reply_head, HEAD_LENGTH);char msg[MAX_LENGTH] = { 0 };size_t msg_length = boost::asio::read(sock, boost::asio::buffer(msg, msglen)); // 再接收尾部std::cout << "Reply is: ";std::cout.write(msg, msglen) << endl;std::cout << "Reply len is " << msglen;std::cout << "\n";}catch (const std::exception& e){std::cerr << "Exception: " << e.what() << "\n";}
参考列表
https://www.bilibili.com/video/BV1ys4y1D7Mu