深入掌握 Protobuf 与 RPC 的高效结合：实现C++工程中的高效通信

目录

      • 一、Protobuf与RPC框架的通信流程概述
      • 二、Protobuf与RPC在C++中的实际应用
        • 2.1 定义 `.proto` 文件
        • 2.2 编译 `.proto` 文件生成C++代码
        • 2.3 实现服务器端逻辑
        • 2.4 实现客户端逻辑
        • 2.5 使用CMake构建工程
        • 2.6 编译与运行
        • 2.7 关键组件解析
        • 2.8 序列化与反序列化的实现
      • 三、关键实现与解析
      • 四、工程实践中的最佳实践
      • 五、总结
      • 附录：常用Protobuf与gRPC命令
      • 参考资料

在现代分布式系统中，高效的通信至关重要，而Protobuf（Protocol Buffers）不仅能提供数据序列化的高效性，还常被用于与RPC（远程过程调用）框架结合，优化客户端与服务器之间的通信效率。本文将详细解析如何在C++工程中使用Protobuf，并结合RPC框架，构建高性能的分布式系统通信机制。

一、Protobuf与RPC框架的通信流程概述

在这里插入图片描述

为了便于理解，以下结合Protobuf和RPC的通信流程进行详细解析：

  1. 定义IDL（接口定义语言）文件：通过Protobuf的.proto文件，定义服务接口和消息格式，这是所有客户端与服务器通信的基础。

  2. 编译IDL文件：使用Protobuf编译器（protoc），生成客户端与服务器的代码骨架。这一步使得开发者无需关心底层通信细节，大幅减少编码工作量。

  3. 客户端调用服务：客户端通过调用生成的骨架代码发起请求，Protobuf负责将消息进行序列化，并通过RPC框架的协议栈传输至服务器。

  4. 服务器处理请求：服务器接收客户端请求，反序列化数据，执行相应的业务逻辑，并将结果序列化为响应数据返回给客户端。

  5. 客户端接收响应：客户端接收到服务器的响应后，反序列化数据并继续处理后续业务逻辑。

二、Protobuf与RPC在C++中的实际应用

2.1 定义 .proto 文件

首先，我们需要通过Protobuf定义服务接口和消息结构。例如，下面的.proto文件定义了一个简单的用户服务接口，包括获取用户信息的服务：

syntax = "proto3";package example;message User {int32 id = 1;string name = 2;string email = 3;
}message GetUserRequest {int32 id = 1;
}message GetUserResponse {User user = 1;
}service UserService {rpc GetUser (GetUserRequest) returns (GetUserResponse);
}
2.2 编译 .proto 文件生成C++代码

使用protoc编译器生成C++代码：

protoc --cpp_out=. --grpc_out=. --plugin=protoc-gen-grpc=`which grpc_cpp_plugin` user_service.proto

编译后生成的文件包含以下两部分：

  • 消息类：user_service.pb.h 和 user_service.pb.cc
  • 服务接口及骨架代码：user_service.grpc.pb.h 和 user_service.grpc.pb.cc
2.3 实现服务器端逻辑

服务器端需要实现生成的服务接口，并通过RPC服务器处理客户端的请求。下面是基于gRPC的C++服务器实现：

#include <iostream>
#include <memory>
#include <string>
#include <grpcpp/grpcpp.h>
#include "user_service.grpc.pb.h"using grpc::Server;
using grpc::ServerBuilder;
using grpc::ServerContext;
using grpc::Status;
using example::UserService;
using example::GetUserRequest;
using example::GetUserResponse;
using example::User;class UserServiceImpl final : public UserService::Service {
public:Status GetUser(ServerContext* context, const GetUserRequest* request,GetUserResponse* reply) override {// 模拟数据库操作User* user = reply->mutable_user();user->set_id(request->id());user->set_name("Alice");user->set_email("alice@example.com");return Status::OK;}
};void RunServer() {std::string server_address("0.0.0.0:50051");UserServiceImpl service;ServerBuilder builder;builder.AddListeningPort(server_address, grpc::InsecureServerCredentials());builder.RegisterService(&service);std::unique_ptr<Server> server(builder.BuildAndStart());std::cout << "Server listening on " << server_address << std::endl;server->Wait();
}int main() {RunServer();return 0;
}
2.4 实现客户端逻辑

客户端通过调用生成的代码与服务器进行通信。以下是gRPC客户端的实现代码：

#include <iostream>
#include <memory>
#include <grpcpp/grpcpp.h>
#include "user_service.grpc.pb.h"using grpc::Channel;
using grpc::ClientContext;
using grpc::Status;
using example::UserService;
using example::GetUserRequest;
using example::GetUserResponse;class UserServiceClient {
public:UserServiceClient(std::shared_ptr<Channel> channel): stub_(UserService::NewStub(channel)) {}GetUserResponse GetUser(int id) {GetUserRequest request;request.set_id(id);GetUserResponse response;ClientContext context;Status status = stub_->GetUser(&context, request, &response);if (!status.ok()) {std::cerr << "RPC failed: " << status.error_message() << std::endl;}return response;}private:std::unique_ptr<UserService::Stub> stub_;
};int main() {UserServiceClient client(grpc::CreateChannel("localhost:50051", grpc::InsecureChannelCredentials()));int user_id = 1;GetUserResponse response = client.GetUser(user_id);std::cout << "User ID: " << response.user().id() << std::endl;std::cout << "Name: " << response.user().name() << std::endl;std::cout << "Email: " << response.user().email() << std::endl;return 0;
}
2.5 使用CMake构建工程

使用CMake构建Protobuf和gRPC项目，确保将生成的代码自动编译到项目中：

cmake_minimum_required(VERSION 3.14)
project(ProtobufRPCExample)find_package(Protobuf REQUIRED)
find_package(gRPC REQUIRED)set(CMAKE_CXX_STANDARD 14)protobuf_generate_cpp(PROTO_SRCS PROTO_HDRS user_service.proto)
grpc_generate_cpp(GRPC_SRCS GRPC_HDRS user_service.proto)add_executable(server server.cpp ${PROTO_SRCS} ${PROTO_HDRS} ${GRPC_SRCS} ${GRPC_HDRS})
target_link_libraries(server PRIVATE protobuf::libprotobuf gRPC::grpc++)add_executable(client client.cpp ${PROTO_SRCS} ${PROTO_HDRS} ${GRPC_SRCS} ${GRPC_HDRS})
target_link_libraries(client PRIVATE protobuf::libprotobuf gRPC::grpc++)
2.6 编译与运行

  1. 安装依赖

    确保已安装Protobuf和gRPC库。可以参考以下步骤进行安装：

    # 安装gRPC及其依赖
git clone -b v1.53.0 https://github.com/grpc/grpc
cd grpc
git submodule update --init
mkdir -p build
cd build
cmake .. -DCMAKE_BUILD_TYPE=Release
make -j4
sudo make install
sudo ldconfig

  2. 编译项目

    在项目根目录下创建构建目录并编译：

    mkdir build
cd build
cmake ..
make

  3. 运行服务器

    在一个终端中启动服务器：

    ./server

    输出：

    Server listening on 0.0.0.0:50051

  4. 运行客户端

    在另一个终端中运行客户端：

    ./client

    输出：

    User ID: 1
Name: Alice
Email: alice@example.com
2.7 关键组件解析

在这里插入图片描述
以下是各组件在上述实现中的作用：

  1. client（客户端）：

    • 客户端代码位于 client.cpp，通过 UserServiceClient 类发起RPC请求。
    • serialize（序列化）：Protobuf自动处理消息的序列化，将 GetUserRequest 转换为字节流。
    • deserialize（反序列化）：接收 GetUserResponse 字节流并转换为 User 对象。

  2. server（服务器）：

    • 服务器代码位于 server.cpp，通过 UserServiceImpl 类实现服务逻辑。
    • serialize/deserialize：Protobuf自动处理接收的请求数据反序列化和响应数据序列化。

  3. protocol stack（协议栈）：

    • 在本示例中，gRPC基于HTTP/2协议栈处理网络通信细节，负责数据的传输和连接管理。

  4. idl（接口定义语言）：

    • user_service.proto 文件定义了服务接口和消息结构，作为IDL文件。

  5. compiler（编译器）：

    • protoc 编译器与gRPC插件一起，将.proto文件编译生成C++代码，生成消息类和服务骨架代码。

  6. skeleton（骨架代码）：

    • 生成的 user_service.grpc.pb.h 和 user_service.grpc.pb.cc 文件包含服务接口的骨架代码。
    • 服务器实现类 UserServiceImpl 继承自生成的骨架类，完成业务逻辑。
    • 客户端通过生成的 UserService::Stub 类进行远程调用，隐藏了底层的通信细节。
2.8 序列化与反序列化的实现

在上述示例中，序列化与反序列化过程由gRPC和Protobuf库自动处理，开发者无需手动编写相关代码。然而，理解这一过程对于优化和调试至关重要。

  • 序列化：

    • 客户端在调用 stub_->GetUser(&context, request, &response) 时，Protobuf将 GetUserRequest 对象序列化为二进制格式，通过gRPC协议栈发送到服务器。

  • 反序列化：

    • 服务器接收到字节流后，Protobuf将其反序列化为 GetUserRequest 对象，并传递给 GetUser 方法进行处理。

  • 响应过程：

    • 服务器将 GetUserResponse 对象序列化后，通过gRPC协议栈发送回客户端，客户端再将其反序列化为 GetUserResponse 对象。

三、关键实现与解析

通过上述代码示例，我们可以看到Protobuf和RPC的高效结合体现在以下几个方面：

  1. 自动化生成代码：通过Protobuf定义的IDL文件（.proto），可以自动生成C++类，省去手动编写通信代码的复杂性。

  2. 数据序列化与反序列化：Protobuf通过高效的二进制格式，减少了数据传输的开销，保证了性能和数据传输的一致性。

  3. RPC框架的透明性：开发者不必关心底层通信协议，gRPC框架负责数据的传输和连接管理，使得程序员能够像调用本地函数一样完成远程调用。

四、工程实践中的最佳实践

  1. 代码生成自动化：集成Protobuf的代码生成步骤至构建系统，确保.proto文件变更后，自动生成与其匹配的代码。

  2. 性能调优：对于大规模消息传输，可考虑使用Protobuf的流式解析功能，并优化网络带宽。

  3. 版本兼容性：在设计Protobuf消息结构时，尽量避免破坏兼容性，确保后续扩展性。例如，避免删除字段或改变字段编号。

  4. 错误处理机制：在客户端和服务器端实现完备的错误处理机制，确保网络异常和序列化失败时的回退策略。

五、总结

Protobuf与RPC框架的结合为现代分布式系统提供了一种高效的通信方案。在C++工程中，通过合理设计和使用Protobuf进行数据序列化，再借助gRPC完成远程过程调用，可以大幅提升通信效率，并简化系统的开发与维护。

附录：常用Protobuf与gRPC命令

  • 编译Protobuf文件

    protoc --cpp_out=. user_service.proto

  • 编译gRPC Protobuf文件

    protoc --grpc_out=. --plugin=protoc-gen-grpc=`which grpc_cpp_plugin` user_service.proto

  • 生成所有代码（包括消息和gRPC服务）

    protoc --cpp_out=. --grpc_out=. --plugin=protoc-gen-grpc=`which grpc_cpp_plugin` user_service.proto

参考资料

  • Protocol Buffers 官方文档
  • gRPC 官方文档
  • Protobuf 编码原理详解
  • 0voice · GitHub

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/436793.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

帝都程序猿十二时辰

帝都程序猿十二时辰

前言 2019年度国产剧《长安十二时辰》火了&#xff0c;其口碑榜首、节奏紧凑、贴合原著、电影质感&#xff0c;都是这部剧的亮点。而最令人震撼的还是剧中对大唐盛世的还原&#xff0c;长安街坊的市容市貌、长安百姓的生活日常、长安风情的美轮美奂……而关于十二时辰的话题也接…
阅读更多...
Unity 2D RPG Kit 学习笔记

Unity 2D RPG Kit 学习笔记

学习资料&#xff1a; B站教学视频&#xff1a;https://www.bilibili.com/video/BV1dC4y1o7A5?p1&vd_source707ec8983cc32e6e065d5496a7f79ee6 2D RPG Kit Documentation.pdf文档 1、2D RPG Kit Documentation文档 1.1、Scenes/TitleScreen 开始菜单工程 1.2、https://it…
阅读更多...
C++语言学习(3): type 的概念

C++语言学习(3): type 的概念

type 的概念 C中的变量拥有类型&#xff0c; 这是显然的。 实际上&#xff0c;每个 object&#xff0c; 每个 reference&#xff0c; 每个 function&#xff0c; 每个 expression &#xff0c; 都有对应的 type &#xff08;类型&#xff09;&#xff1a; Each object, refer…
阅读更多...
【SQL】有至少五名直接下属的经理

【SQL】有至少五名直接下属的经理

目录 语法 需求 示例 分析 代码 语法 SELECT columns FROM table1 JOIN table2 ON table1.common_column table2.common_column; 在数据库管理和编程中&#xff0c;JOIN 是一种用于结合来自两个或多个表的数据的 SQL 操作。通过使用 JOIN&#xff0c;你可以根据两个表中的…
阅读更多...
vue3 + ts 二次封装 el-menu

vue3 + ts 二次封装 el-menu

实现效果&#xff1a; 1. types / menu.ts export interface MenuItem {index: string,label: string,icon?: string,disabled?: boolean,children?: MenuItem[], }2. components / CustomMenu / index.vue <template><el-menu :default-active"defaultActi…
阅读更多...
10.2 Linux_并发_进程相关函数

10.2 Linux_并发_进程相关函数

创建子进程 函数声明如下&#xff1a; pid_t fork(void); 返回值&#xff1a;失败返回-1&#xff0c;成功返回两次&#xff0c;子进程获得0(系统分配)&#xff0c;父进程获得子进程的pid 注意&#xff1a;fork创建子进程&#xff0c;实际上就是将父进程复制一遍作为子进程&…
阅读更多...
傅里叶级数在机器人中的应用（动力学参数辨识）

傅里叶级数在机器人中的应用（动力学参数辨识）

B站首发&#xff01;草履虫都能看懂的【傅里叶变换】讲解&#xff0c;清华大学李永乐老师教你如何理解傅里叶变换&#xff0c;辨清美颜和变声原理&#xff0c;&#xff01;&#xff01;_哔哩哔哩_bilibiliB站首发&#xff01;草履虫都能看懂的【傅里叶变换】讲解&#xff0c;清…
阅读更多...
10.数据结构与算法-线性表的应用（线性表与有序表的合并）

10.数据结构与算法-线性表的应用（线性表与有序表的合并）

线性表的合并 有序表的合并 顺序表 链表
阅读更多...
Mac屏蔽系统更新，取出红点标记如果解锁hosts文件

Mac屏蔽系统更新，取出红点标记如果解锁hosts文件

引言&#xff1a;关闭系统更新&#xff0c;首先应该在系统偏好设置---软件更新---去掉自动更新的选项。即使如此&#xff0c;系统仍然进行macOS系统和自带safari等软件的检测更新&#xff0c;并图标右上角红点点标记提醒我们更新&#xff0c;那我们如果彻底屏蔽更新呢&#xff…
阅读更多...
监控告警功能详细介绍及操作演示：运维团队的智能保障

监控告警功能详细介绍及操作演示：运维团队的智能保障

在当今这个信息化高速发展的时代&#xff0c;运维团队面临着前所未有的挑战。为了确保系统的稳定性和高效运维&#xff0c;监控告警功能成为了运维团队不可或缺的得力助手。本文将详细介绍我们的监控告警功能&#xff0c;并结合实际操作页面进行演示&#xff0c;帮助运维团队更…
阅读更多...
828华为云征文｜部署在线文档应用程序 CodeX Docs

828华为云征文｜部署在线文档应用程序 CodeX Docs

828华为云征文&#xff5c;部署在线文档应用程序 CodeX Docs 一、Flexus云服务器X实例介绍二、Flexus云服务器X实例配置2.1 重置密码2.2 服务器连接2.3 安全组配置2.4 Docker 环境搭建 三、Flexus云服务器X实例部署 CodeX Docs3.1 CodeX Docs 介绍3.2 CodeX Docs 部署3.3 CodeX…
阅读更多...
AI产品经理PRD文档与传统产品经理PRD有什么不同呢？

AI产品经理PRD文档与传统产品经理PRD有什么不同呢？

目录 模型输出&#xff1a;说白了&#xff0c;就是你的AI要干啥数据接入&#xff1a;你的AI要吃啥“粮食”验收标准&#xff1a;怎么判断你的AI干得好不好经验总结 你好&#xff0c;我是三桥君 在工作中&#xff0c;当我作为传统产品经理时&#xff0c;通常只需提供产品需求文…
阅读更多...
解决 Adobe 盗版弹窗

解决 Adobe 盗版弹窗

在这个文件夹下删除 Adobe CCXProcess 然后重装。 Adobe Premiere Pro 2024 (v24.6.1) Multilingual :: Варез от m0nkrusa [Warez by m0nkrus] (monkrus.ws) Adobe Photoshop 2024 (v25.12) Multilingual :: Варез от m0nkrusa [Warez by m0nkrus] (monkrus.…
阅读更多...
Camera Raw：打开图像

Camera Raw：打开图像

在图像工作流程中&#xff0c;无论是 Raw 格式图像文件还是 JPEG、TIFF 文件&#xff0c;都可以先使用 Camera Raw 打开并调整后&#xff0c;再进入其它 Adobe 软件如 Photoshop 中进行进一步的编辑和处理。 一、打开 Raw 格式图像 1、通过 Adobe Bridge 打开 在 Adobe Bridge …
阅读更多...
8.数据结构与算法-双向链表

8.数据结构与算法-双向链表

双向链表的结构定义 从第二个指针找到下一个元素 从第一个指针找到上一个元素 双向循环列表 从第二个指针找到下一个元素&#xff0c;第二个指针可以往前循环找到链表开头 从第一个指针找到上一个元素&#xff0c;第一个指针可以往前循环昭侯链表结尾 双向链表的插入 双向链…
阅读更多...
Australis 相機率定軟體說明

Australis 相機率定軟體說明

概要 課堂中使用Australis這套軟體&#xff0c;順帶記錄操作過程 內容以老師口述及我測試的經過 照片為老師課堂提供之 說明 執行 Step1. 匯入照片 注意&#xff01;&#xff01;如果是Mac的作業系統&#xff0c;將資料夾移到Windows上的時候&#xff0c;建議創一個新的資料…
阅读更多...
Total_Expectation_Conditional_Bias_Variance_Tradeoff

Total_Expectation_Conditional_Bias_Variance_Tradeoff

Statistics with Prof. Liang Liu Topics: Total expectation, consitional expectation, conditional probability, marginal probability, 模型的 Bias, Variance 我们碰到的绝大多数都是 conditional 的probability 。比如&#xff0c;given miu, sigma square, 才能讨论…
阅读更多...
详解代理模式-【静态代理与JDK动态代理】（非常的斯国一）

详解代理模式-【静态代理与JDK动态代理】（非常的斯国一）

目录 静态代理 什么是静态代理: ​ 特点: 例子&#xff1a; JDK动态代理&#xff08;主要讲点&#xff09; 大纲&#xff1a; 1、与静态代码的联系 2、JDK动态代理的主流程 3、Proxy的源码 整体概述&#xff1a; 重要点的翻译 &#xff1a; newProxyInstance源码&am…
阅读更多...
图神经网络：处理复杂关系结构与图分类任务的强大工具

图神经网络：处理复杂关系结构与图分类任务的强大工具

创作不易&#xff0c;您的打赏、关注、点赞、收藏和转发是我坚持下去的动力&#xff01; 图神经网络&#xff08;Graph Neural Network, GNN&#xff09;是针对图数据的一类神经网络模型。图数据具有节点&#xff08;节点代表实体&#xff09;和边&#xff08;边代表节点之间的…
阅读更多...
Webstorm 中对 Node.js 后端项目进行断点调试

Webstorm 中对 Node.js 后端项目进行断点调试

首先&#xff0c;肯定需要有一个启动服务器的命令脚本。 然后&#xff0c;写一个 debug 的配置&#xff1a; 然后&#xff0c;debug 模式 启动项目和 启动调试服务&#xff1a; 最后&#xff0c;发送请求&#xff0c;即可调试&#xff1a; 这几个关键按钮含义&#xff1a; 重启…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023