Go 微服务开发框架 DMicro 的设计思路

  Go 微服务开发框架 DMicro 的设计思路

DMicro 源码地址:

  • Gitee:
  • dmicro: dmicro是一个高效、可扩展且简单易用的微服务框架。包含drpc,dserver等

背景

DMicro 诞生的背景，是因为我写了 10 来年的 PHP，想在公司内部推广 Go, 公司内部的组件及 rpc 协议都是基于 swoole 定制化开发的。调研了市面上的各种框架，包括 beego,goframe,gin,go-micro,go-zero,erpc 等等，可能是我当时技术能力有限，并不能让这些框架很好的适配我们的业务。

我们业务开发有几个痛点，在当时 golang 的生态中无法找到一整套解决方案。

  • 微服务应用和单体应用同时开发。
  • 高性能，高可用的网络通讯。
  • 需要自定义应用层的协议 (重点)。
  • 需要灵活的插件扩展机制，方便适配现有系统 (重点)。
  • 服务端与客户端的概念模糊，互相都能使用相同的 api 调用对方。
  • 支持 Push 消息。
  • 连接 / 会话管理。
  • 高效率的开发，支持通过 proto 生成代码。
  • 支持多种网络协议，tcp,websocket,quic,unixsocket.
  • 兼容 http 协议。
  • 能够更快速的定位问题。
  • 更便捷的增加新特性。

在对常用的开源框架做了简单的调研以后，发现并没有一款合适的框架能满足我的所有需求。在认真思考过后，发现 erpc 和 goframe 两个框架的结合体能满足我的需求，于是就诞生了自研 DMicro.

概述

DMicro 中的 drpc 组件的思想是参考 erpc 实现，甚至可以说是它的继承者。

drpc 组件是 DMicro 框架的一部分，为了适配 DMicro 框架，在 erpc 的基础上做了深入的扩展开发。

整个 DMicro 大量使用 goframe 中的组件，如果业务使用 goframe 框架，可以无缝接入。

DRpc 特性列表:

  • 对等通信 , 对等Api
  • 高性能 , 非阻塞异步IO
  • 自定义Proto,, 兼容http协议 , 自定义Codec
  • Hook点 , 插件系统 ,
  • Push消息 ,session管理，Socket抽象 ,
  • 断线重连 , 过载保护 , 负载均衡 , 心跳机制 ,
  • 平滑重启 ...

DServer 特性列表：

  • 快速构建 , 平滑重启 , 多进程支持 , 单/多进程一致
  • 预定义命令行 ,ctrl命令管理服务
  • 可观测 , 可控制 , 应用沙盒

DMicro 已经内置组件：

  • [x] Registry 服务注册
  • [x] Selector 服务发现
  • [x] Eventbus 事件总线
  • [x] Supervisor 进程管理
  • [ ] Code gen 代码生成
  • [ ] Tracing 链路追踪
  • [ ] Metrics 统计告警
  • [ ] Broker 限流熔断
  • [ ] OpenAPI 文档自动生成

架构

设计理念

对 DMicro 框架的设计，从设计之初就是在追求灵活性，适应性。在保证微服务的稳定性前提下，追求项目的开发效率。

  • 面向接口设计，保证代码稳定，提供灵活定制。
  • 抽象各组件的接口，高内聚，低耦合。
  • 分层设计，自上而下逐层封装，利于稳定和维护。
  • 高性能，高可用，低消耗。
  • 对开发友好，封装复杂度。
  • 提供丰富的组件及功能，让开发专注业务。

无数个写 DMicro 的日夜，我都谨记开发三原则:

  • Clarity(清晰)
  • Simplicity(简单)
  • Productivity(生产力)

无论工作，还是做开源项目，都应该保持这三个原则，养成良好的习惯。

面向接口设计

DMicro 秉承着万物皆接口的原则，提供框架无与伦比的扩展性.

下图展示的是消息的发送的流转流程，可以看到，所有的功能点都被抽象成了接口，每个功能点都提供了不同的实现.

会话 Session

大多数的 Rpc 框架并不强调会话 (session) 的概念，因其应用场景不需要用到会话 (session). 那么 drpc 为什么需要抽象出会话 (session) 呢？

  • Endpoint 融合了 Client 和 Server, 需要提供相同的 Api.
  • 服务端需要主动向客户端发送消息，并且获取客户端的响应.
  • 服务端支持对多个客户端批量发送消息.
  • 异步主动断开一个或多个会话.
  • 获取会话底层的文件描述符 , 对其进行性能调优.
  • 可以为每个会话绑定特殊的数据/属性.

Session 抽象了整个 drpc 框架的会话，把 Socket,Message,Context 都融合到一起。开发者只需要对 session 进行操作，就能实现大多数需求.

  • 获取连接信息
  • 控制连接的生命周期 (超时时间)
  • 控制单次请求的生命周期 (超时时间)
  • 接收消息
  • 发送消息
  • 创建消息的上下文
  • 绑定会话的相关信息 (如用户信息)
  • 断线重连
  • 主动断开会话.
  • 健康检查
  • 获取连接关闭事件
  • 为会话设置单独的 id

Session 接口可以细分为 4 个 interface{}, 分别是 EarlySession,BaseSession,CtxSession,Session. 对应的是应用的不同生命阶段会话 (Session) 拥有的不同属性.

  • EarlySession 表示刚生成会话，尚未启动 goroutine 读取数据的阶段.
  • BaseSession 只有最基础的方法，用于关闭连接时候的插件参数.
  • CtxSession 在处理程序上下文中传递的会话对象.
  • Session 全功能的会话对象.

正常情况下，开发者用到的都是 Session,CtxSession 这两个接口，其他 2 个接口是在插件中使用.

消息 Message

消息 Message 包含消息头 Header, 消息体 Body, 是客户端与服务端之间通信的实体.

Message interface{} 抽象了对通信实体的操作.

  • Size 消息的长度
  • Transfer-Filter-Pipeline 报文数据过滤处理管道
  • Seq 序列号
  • MType 消息类型
  • ServiceMethod 资源标识符
  • Meta 消息的元数据
  • BodyCodec 消息体编码格式
  • Body 消息体

协议 Proto

协议是对消息Message 对象的序列化和反向序列化，框架提供 Proto 接口。只需要实现该接口，开发者就能定制符合业务需求的自定义协议，从而提升了框架的灵活性.

接口的定义如下:

type Proto interface {Version() (byte, string)Pack(Message) errorUnpack(Message) error
}
  • Version() 返回该协议的 id 和名字，两个组成唯一的版本号.
  • Pack 对消息 Message 对象进行序列化.
  • Unpack 对字节流反序列化，生成一个消息 Message 对象.

目前框架已支持 Http,Json,Raw,Protobuf,JsonRpc 这 5 个协议.

RAW 协议组成如下:

其他协议可以参考代码.

编码 Codec

作为一个通用性的框架，支持的协议可以有多种，消息体的编解码也可以有多少种. drpc 使用 Codec 接口对消息体 Body 进行编解码.

接口的定义如下:

type Codec interface {ID() byteName() stringMarshal(interface{}) ([]byte, error)Unmarshal([]byte, interface{}) error
}
  • ID 返回编 Codec 的 id
  • Name 返回编 Codec 的名字，名字是为了开发者更容易识别.
  • Marshal 对消息内容进行编码
  • Unmarshal 对消息内容进行解码

目前框架已支持 Form,Json,plain,Protobuf,XML 这 5 个编解码.

连接 Socket

Socket 扩展了 net.Conn, 并且抽象出接口，方便框架对底层网络协议的集成.

Socket 接口实现了一部分 Session 接口的功能，Session 接口调用的一些方法，实际上是转发调用了 Socket 中的方法.

这样的分层实现，让 Socket 拥有的集成其他协议的能力.

  • TCP V4,TCP V6
  • Unix Socket
  • KCP
  • QUIC

支持对连接的性能调优.

  • SetKeepAlive 开启链接保活
  • SetKeepAlivePeriod 链接保活间隔时间
  • SetReadBuffer 设置链接读缓冲区 size
  • SetWriteBuffer 获取链接写缓冲区 size
  • SetNoDelay 开启关闭 no delay 算法
  • ControlFD 支持操作链接的原始句柄

有机的组合

前面讲到，DMicro 框架万物皆接口，分层 + 接口的设计，让 DMicro 有了灵活的组成高效且符合业务实际情况的能力.

接下来我们要讲到实现这些能力的基础。插件系统.

插件 Plugin

插件系统给框架带来了极大的扩展性和灵活性，是整个框架的一个灵魂模块，有了它，框架就有了无限可能。

什么样的插件系统才能算是优雅呢？我能想到的有以下几点：

  • 合理且丰富的 hook 位置，能够覆盖整个框架的生命周期，贯穿通讯的各个环节。
  • 每个 hook 位置的入参和出参都是经过精心设计。
  • 每个插件都能够使用多个 hook 位置，每个 hook 位置都能被多个插件使用。
  • 设计的足够简洁，优雅。能方便的进行二次开发定制。

在 drpc 中，钩子贯穿与整个 Endpoint 的生命周期，是它不可或缺的重要一环。

转存失败重新上传取消 通过这些钩子 Hook 点，赋予了插件无限可能.

组件

有了插件，就能通过插件的组合，编写综合功能的组件，目前框架提供一些内置的组件，

  • 服务端 Rpc Server
  • 客户端 Rpc Client
  • 服务注册 Registry
  • 服务发现 Selector
  • 事件总线 EventBus
  • 进程管理 Supervisor

即将提供:

  • 链路追踪 Tracing
  • 统计告警 Metrics
  • 限流熔断 Broker.

限于篇幅的原因，具体组件的实现，这里就不深入讲解，请关注后续的文章.

未来展望

如果把 DMicro 比作人生，现在成长的阶段还处在少年时期，只完成了基础的架构设计和一部分组件的开发.

接下来的方向主要是往易用性和可靠性方向发展.

易用性:

  • 项目效能工具 dmctl 工具的开发，包括代码生成，项目结构生成，打包，编译等等功能.
  • 符合 openapi 定义的文档组件的开发.
  • 更加完善的文档和使用示例.

可靠性:

  • 可观测性
    • 链路追踪
    • 指标信息
    • 日志流
  • 生产可用
    • 测试用例的完善
    • 代码覆盖率
    • 性能调优

希望 DMicro 能在大家的呵护及鞭策下茁长成长.

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/76158.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Ubuntu服务器ELK部署与实践

Ubuntu服务器ELK部署与实践

文章目录 1. Docker安装2. 拉镜象2.1 ElastciSearch2.2 Kibana2.3 logstash 3. 数据展示 1. Docker安装 看之前的文章 docker ubuntu完全卸载docker及再次安装 Ubuntu安装 Docker 此外，Docker偶尔会出现这种问题dial tcp: lookup registry-1.docker.io on 192.168.1…
阅读更多...
在 3ds Max 中使用相机映射将静止图像转换为实时素材

在 3ds Max 中使用相机映射将静止图像转换为实时素材

推荐： NSDT场景编辑器 助你快速搭建可二次开发的3D应用场景 1. 在 Photoshop 中准备图像 步骤 1 这是我将在教程中使用的静止图像。 这是我的静态相机纸箱的快照。 静止图像 步骤 2 打开 Photoshop。将图像导入 Photoshop。 打开 Photoshop 步骤 3 单击套索工…
阅读更多...
Python---Numpy

Python---Numpy

文章目录 1.Numpy是什么？2.ndarray2.1 什么是ndarray?2.2 ndarray的属性2.3 ndarray的类型 3.Numpy基本操作3.1 生成0或1的数组3.2 从现有数组生成数组拓展：浅拷贝和深拷贝 3.3 生成固定范围的数组3.4 生成随机数组3.4.1 正态分布3.4.2 均匀分布 3.5 形…
阅读更多...
【HashMap原理解析】

【HashMap原理解析】

HashMap面试问题 集合概述单列集合双列集合HashTableProperties HashMap底层数据结构哈希表哈希冲突拉链法开放定址法 红黑树红黑树定义红黑树非红黑树 红黑树的插入链表和红黑树在HashMap中的体现 HashMap的扩容机制HashMap初始化HashMap扩容先添元素后扩容什么情况下扩容怎么…
阅读更多...
C语言案例 不重复数字输出--01

C语言案例 不重复数字输出--01

题目：有 1、2、3、4 四个数字，能组成多少个互不相同且无重复数字的三位数？都是多少？ 步骤一：定义程序目标 编写一个C程序，使用1、2、3、4四个数字组成不相同且不重复的三位数，分别显示出来…
阅读更多...
性能测试基础知识（三）性能指标

性能测试基础知识（三）性能指标

性能测试基础知识（三）性能指标 前言一、时间特性1、响应时间2、并发数3、吞吐量（TPS） 二、资源特性1、CPU利用率2、内存利用率3、I/O利用率4、网络带宽使用率5、网络传输速率（MB/s） 三、实例场景 前言 性能…
阅读更多...
使用Golang实现一套流程可配置，适用于广告、推荐系统的业务性框架——组合应用

使用Golang实现一套流程可配置，适用于广告、推荐系统的业务性框架——组合应用

在《使用Golang实现一套流程可配置，适用于广告、推荐系统的业务性框架——简单应用》中，我们看到了各种组合Handler的组件，如HandlerGroup和Layer。这些组件下面的子模块又是不同组件，比如LayerCenter的子组件是Layer。如果此时我…
阅读更多...
ELFK——ELK结合filebeat日志分析系统（2）

ELFK——ELK结合filebeat日志分析系统（2）

目录 一、filebeat 二、ELFK 1.原理简介 2.在ELK基础上部署filebeat 一、filebeat Filebeat，轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat，并指定目录与日志格式，Filebeat 就能快速收集数据，并…
阅读更多...
echarts-pie---------3D曲状环形饼图实现！！！

echarts-pie---------3D曲状环形饼图实现！！！

示例（参考此处饼图修改https://www.isqqw.com/viewer?id37497） 话不多说直接上代码 此套代码可以直接再echarts官网中的此处运行 let selectedIndex ; let hoveredIndex ; option getPie3D([{name: 数学,value: 60,itemStyle: {color: #1890FF,},},{…
阅读更多...
RTT学习笔记12-KConfig 语法学习

RTT学习笔记12-KConfig 语法学习

KConfig 语法学习 RTT 官方教程 https://www.rt-thread.org/document/site/#/development-tools/build-config-system/Kconfig 我自己写的IIC配置 menuconfig BSP_USING_I2C # I2C 菜单bool "Enable I2C BUS" # 提示I2C 菜单default n # 默认不使能I2C 菜单…
阅读更多...
2023.07.29 驱动开发DAY6

2023.07.29 驱动开发DAY6

通过epoll实现一个并发服务器 服务器 #include <stdio.h> #include <string.h> #include <unistd.h> #include <sys/types.h> #include <sys/socket.h> #include <netinet/in.h> #include <arpa/inet.h> #include <sys/epoll.h…
阅读更多...
G-channel 实现低光图像增强

G-channel 实现低光图像增强

G-channel 之前研究低光图像增强时&#xff0c;看到一篇博客&#xff0c;里面介绍了一种方法&#xff0c;没有说明出处&#xff0c;也没有说明方法的名字&#xff0c;这里暂时叫做 G-channel 算法。 博客地址&#xff1a;低照度图像增强&#xff08;附步骤及源码&#xff09;…
阅读更多...
LBP特征笔记

LBP特征笔记

LBP&#xff0c;局部二值模式&#xff08;Local Binary Pattern&#xff09;&#xff0c;是一种描述图像局部纹理特征的方式&#xff0c;具有旋转不变性和灰度不变性。首先由T. Ojala, M.Pietikinen, 和 D. Harwood 在1994年提出。 LBP特征描述 基础LBP算子 基础的LBP算子定义…
阅读更多...
# 关于Linux下的parted分区工具显示起始点为1049kB的问题解释

# 关于Linux下的parted分区工具显示起始点为1049kB的问题解释

关于Linux下的parted分区工具显示起始点为1049kB的问题解释 文章目录 关于Linux下的parted分区工具显示起始点为1049kB的问题解释1 问题展示&#xff1a;2 原因3 修改为KiB方式显示4 最后 1 问题展示&#xff1a; kevinTM1701-b38cbc23:~$ sudo parted /dev/nvme1n1 GNU Part…
阅读更多...
记一次使用gophish开展的钓鱼演练

记一次使用gophish开展的钓鱼演练

这周接到客户要求&#xff0c;组织一次钓鱼演练&#xff0c;要求是发送钓鱼邮件钓取用户账号及个人信息。用户提交后&#xff0c;跳转至警告界面&#xff0c;以此来提高客户单位针对钓鱼邮件的防范意识。 与客户沟通后得知他们企业内部是由邮箱网关的&#xff0c;那么就意味着…
阅读更多...
ARM微架构

ARM微架构

一、流水线 二、指令流水线 指令流水线 指令流水线 指令流水线 ARM指令流水线 ARM7采用3级流水线 ARM9采用5级流水线 Cortex-A9采用8级流水线 注1&#xff1a;虽然流水线级数越来越多&#xff0c;但都是在三级流水线的基础上进行了细分 PC的作用&#xff08;取指&#xff09; …
阅读更多...
搭建Django+pyhon+vue自动化测试平台

搭建Django+pyhon+vue自动化测试平台

Django安装 使用管理员身份运行pycharm使用local 1 pip install django -i https://pypi.tuna.tsinghua.edu.cn/simple 检查django是否安装成功 1 python -m django --version 创建项目 1 1 django-admin startproject test cd 切换至创建的项目中启动django项目…
阅读更多...
python 连接oracle pandas以简化excel的编写和数据操作

python 连接oracle pandas以简化excel的编写和数据操作

python代码 Author: liukai 2810248865qq.com Date: 2022-08-18 04:28:52 LastEditors: liukai 2810248865qq.com LastEditTime: 2023-07-06 22:12:56 FilePath: \PythonProject02\pandas以简化excel的编写和数据操作.py Description: 这是默认设置,请设置customMade, 打开koro…
阅读更多...
SpringBoot+AOP+Redission实战分布式锁

SpringBoot+AOP+Redission实战分布式锁

文章目录 前言一、Redission是什么&#xff1f;二、使用场景三、代码实战1.项目结构2.类图3.maven依赖4.yml5.config6.annotation7.aop8.model9.service 四、单元测试总结 前言 在集群环境下非单体应用存在的问题&#xff1a;JVM锁只能控制本地资源的访问&#xff0c;无法控制…
阅读更多...
docker容器的基本操作

docker容器的基本操作

一、查看Docker的版本信息 [roothuyang1 ~]# docker version 二、查看docker的详细信息 [roothuyang1 ~]# docker info 三、Docker镜像操作 Docker创建容器前需要本地存在对应的镜像&#xff0c;如果本地加载不到相关镜像&#xff0c;Docker默认就会尝试从镜像仓库https://hu…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023