《企业实战分享 · 常用运维中间件》

📢 大家好,我是 【战神刘玉栋】,有10多年的研发经验,致力于前后端技术栈的知识沉淀和传播。 💗
🌻 近期刚转战 CSDN,会严格把控文章质量,绝不滥竽充数,如需交流,欢迎留言评论。👍

文章目录

    • 写在前面的话
    • Rancher (K8S服务管理)
    • Nacos(注册&配置中心)
    • SB Admin(健康检查)
    • Kibana(ES面板)
    • Prometheus(业务资源监控)
    • Grafana(资源监控看板)
    • Zipkin(链路追踪)
    • Skywalking(链路追踪)
    • Kafka(消息中间件)
    • 总结陈词

写在前面的话

笔者所在公司(下文简称“公司”),开发采用前后端分离模式,后端技术栈SpringCloud,前端技术栈Vue/Nuxt
由于整体涉及较多前端和后端服务,因此才采用K8S进行容器编排部署,同时为保障各项服务更好的运维监测,也配套了诸多中间件。
本篇博文鉴于此背景,挑选几个较为常见的中间件,简单加以分享说明,期望与君共勉。


Rancher (K8S服务管理)

【技术简介】
公司采用Kubernetes作为微服务部署方案,Kubernetes (简称 K8S)是一个开源的容器编排平台,旨在简化容器化应用程序的部署、管理和自动化运维。
Rancher 是一个完整的容器管理平台,它提供了对Kubernetes等多种容器编排引擎的支持,同时提供了额外的功能和工具,用于简化容器集群的部署、管理和运维。

【能做什么】
简单理解,Rancher是可视化操控K8S服务部署的管理页面,下面就介绍一下Rancher的常用操作,操作包含但不限于查看服务状态、查看容器日志和执行命令行、服务的启动停止等。
这些操作可以理解为,把传统的Centos服务器上做的一些操作可视化了,对开发人员更加友好。

【实操:执行命令&查看日志】
Rancher00

【实操:重新部署应用】
重新部署应用一般用于业务出错时或者刚发布后业务无法访问时使用。
Rancher00

【增加应用副本】
当grafna上面的pods内存使用率过高是,可以增加对应应用的副本数,
查看容器日志01

注意:增加副本可以随时增加,但是减少副本要等没什么业务的时候再减少。

查看容器日志 - 命令行方式】

  1. 进入装有kubectl的k8s节点服务器,以查看收费后端容器日志为例,它的容器名称为onelink-micro-charge(一般和项目名、镜像名是一致的),所属namespace为onelink(不同环境的namespace可能不一样,这个要和运维确认),先查看pod列表
kubectl get pod -n onelink | grep onelink-micro-charge

查看容器日志02

  1. 选择其中一个pod,查看日志
# 最常用!!!
# 从最近100行开始,持续监控容器日志
kubectl logs -f --tail=100 onelink-micro-charge-6cd766567f-ngptx -n onelink# 查看容器的全量日志
kubectl logs onelink-micro-charge-6cd766567f-ngptx -n onelink# 持续监控容器的全量日志
kubectl logs -f onelink-micro-charge-6cd766567f-ngptx -n onelink# 查看最近1小时的容器日志
kubectl logs --since=1h onelink-micro-charge-7ccb64db88-7wss5 -n onelink# 查看2022-09-09 14:04:40之后的容器日志,这个时间是UTC时间
kubectl logs --since-time="2022-09-09T14:04:40+00:00" onelink-micro-charge-7ccb64db88-7wss5  -n onelink

【查看容器日志 - Rancher方式】

  1. 进入所在项目

Rancher02

  1. 查看pod列表

Rancher01

  1. 查看pod日志

Rancher02


Nacos(注册&配置中心)

【技术简介】
公司由于后端技术栈为SpringCloudAlibaba,因此采用Nacos作为注册中心和配置中心,经常需要和 Nacos后台界面打交道,上去看服务注册状态和常见配置信息等等。

【Nacos 能做什么】
注册中心能查看健康服务实例情况,进行服务的上线/下线。
配置中心能查看当前的配置情况,并支持做出相应的调整。
Nacos操作太简单了,傻瓜式的,具体不展开了,有使用的开发基本可以理解。

Tips:可以比对实例数是否跟K8S的PODS数不一致,如果不一致可能是开发调试程序注册上来了。

Nacos


SB Admin(健康检查)

【技术简介】
Spring Boot Admin 是一个用于监控和管理 Spring Boot 应用程序的开源项目。它提供了一个直观的 Web 界面,用于监控多个 Spring Boot 应用程序的运行状态、健康状况、配置信息等,并提供了一些管理功能,如日志查看、应用程序重启等。
Spring Boot Admin 是建立在 Spring Boot Actuator 基础之上的,它利用 Actuator 提供的监控和管理功能,并在此基础上提供了更加直观和友好的界面,帮助用户更方便地监控和管理 Spring Boot 应用程序。因此,Spring Boot Admin 可以看作是 Actuator 的一个扩展和增强。
Spring Boot Admin 是一个非常实用的工具,可以帮助开发团队更好地监控和管理 Spring Boot 应用程序,提高应用程序的稳定性和可靠性。

【SB Admin 能做什么】

实时监控:Spring Boot Admin 可以实时监控多个 Spring Boot 应用程序的运行状态和性能指标,如内存使用情况、线程数、GC 日志等。
健康检查:Spring Boot Admin 可以检查每个应用程序的健康状况,并提供可视化的健康报告,帮助用户快速识别出问题所在。
配置管理:Spring Boot Admin 可以查看和修改每个应用程序的配置信息,包括环境变量、配置文件等,方便用户动态调整应用程序的配置。
日志查看:Spring Boot Admin 可以查看每个应用程序的日志文件,支持实时日志输出和搜索功能,方便用户快速定位和解决问题。
事件通知:Spring Boot Admin 支持事件通知机制,当应用程序出现异常或状态变化时,可以通过邮件、Slack 等方式通知管理员。
多租户支持:Spring Boot Admin 支持多租户模式,可以为不同的用户或团队提供独立的监控和管理界面。

换通俗一点的话来说,可以全局监控服务健康情况,也可以查看单个服务的健康详情,更多用法,参考网上资料即可。

【展示效果】
SBA01
SBA02

【拓展 - 如何代码自定义指标】
1、实质是运行在监控服务的,如下图所示:
自定义指标01
2、应用的监控指标扩展信息可以通过实现InfoContributor自定义,如下图:
自定义指标02

Tips:更多用法,参考网上资料即可。


Kibana(ES面板)

【技术简介】
Kibana是一个开源的数据可视化工具,用于实时分析和可视化大规模数据集。它是 Elastic Stack 中的一个组件,主要用于展示和分析 Elasticsearch 中的数据。
公司虽然单独开发了日志查阅界面,用于查阅ES日志数据,但毕竟编码阶段考虑有限。此时就可以直接使用Kibana中应用日志界面能看到的日志数据,这边能看到更全,利用的更好。

【Kibana 能做什么】
Kibana 能用在挺多地方,包含但不限于如下:
1、Discover 数据探索 – 快速检索ES索引数据,比应用日志更灵活
2、Dev Tools 开发工具 - 手动写JSON查询
3、Visualize 可视化 – 导出最慢的N个接口
4、Dashboard 仪表盘 – 用的较少
下面附上两个功能截图,这块可以实操一下,先不展开介绍,有需要另行补充。
Kibana查询02
Kibana查询02


Prometheus(业务资源监控)

【技术描述】
Prometheus 是一个开源的系统监控和报警工具包,专为可靠性和可扩展性设计,适用于动态的云原生环境。它最初由 SoundCloud 开发,并于 2012 年开源。作为云原生计算基金会(CNCF)的重要项目之一,Prometheus 在现代微服务和分布式系统中得到了广泛应用。

【实战运用】
笔者所在公司采用Prometheus监控所有服务、还包含各个中间件的状态。
框架层面也封装了自定义指标,例如数据库和HTTP请求相关指标,更多指标来源于各SpringBoot服务的/actuator/prometheus接口。
当生产环境遇到服务指标异常的时候,可以打开Prometheus,查看相应的指标信息。更复杂的指标,推荐使用Grafana看板查看仪表盘。

【示例效果 - 查询自定义指标】
利用Prometheus排查收费服务的连接数。
Prometheus


Grafana(资源监控看板)

【技术描述】
1、将Prometheus的采集指标数据,可视化展示出来;
2、可以添加网上现场的模板库,参考Grafana官网文档库,也可以自己做一些看板;

【查看仪表盘】
image.png
image.png
image.png
image.png
image.png
image.png


Zipkin(链路追踪)

【技术简介】
Zipkin 是一个开源的分布式跟踪系统,用于收集、存储、搜索和可视化跨多个服务的跟踪数据。
Zipkin 主要负责收集整合所有服务生成的跟踪信息,提供全局视图和跨服务的调用链分析功能。
Zipkin 接收由 Sleuth 生成的跟踪数据,并将这些数据存储在后端存储系统中(如 Elasticsearch、MySQL 等),并提供了一个用户界面用于查询和可视化这些数据。
参考:《企业实战分享 · Sleuth + Zipkin 实现链路追踪》

【实战运用】
笔者所在公司将日志数据采集后,统一存储在ES中,并自研日志查询页面,如下图:
应用日志查询
通过点击对应请求日志的链路追踪操作按钮,可以跳转到Zipkin的展示页,如下图:
Zipkin


Skywalking(链路追踪)

【技术简介】
Apache SkyWalking 是一个开源的应用性能监控和分布式追踪系统,主要用于监控、追踪和诊断分布式系统中的应用程序。它支持云原生、微服务和容器化环境,帮助开发者和运维人员对系统的性能和行为进行全面的监控和分析。

Tips:和Zipkin同为链路追踪产品。

【实战说明】
笔者所在公司,其中的运维部门采用的链路追踪产品,可以通过在服务器上安装Agent的方式,从整体层面监控全局日志,可覆盖所有产品线。
效果如下图:Skywalking界面


Kafka(消息中间件)

【技术简介】
Kafka是一个开源的分布式事件流平台(Event Streaming Platform),被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。
笔者所在公司采用Kafka开发了消息中心,基于事件驱动机制管理系统内部消息交互,本板块涉及内容较多,后续另起专题介绍,暂不展开。

【监控插件效果】
Kafka监控插件01
Kafka监控插件02

【自研监控页面】
自研监控界面


总结陈词

上文简单介绍了几款公司当前在使用的运维中间件,帮助大家学习。
作为普通开发人员,可以不用熟悉全部的中间件,但至少应该知道什么场景需要使用什么工具。
当然,如果作为对技术有热情的,可以单独一个个深入了解,这里仅仅抛砖引玉。

💗 后续会逐步分享企业实际开发中的实战经验,有需要交流的可以联系博主。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/367168.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

HUAWEI MPLS 静态配置和动态LDP配置

MPLS(Multi-Protocol Label Switching,多协议标签交换技术)技术的出现,极大地推动了互联网的发展和应用。例如:利用MPLS技术,可以有效而灵活地部署VPN(Virtual Private Network,虚拟专用网),TE(Traffic Eng…

a-range-picker 国际化不生效

1、问题:按照官方 添加后是这样的 周和月没有翻译 1-1官方配置如下图 1-2效果: 2、import locale from "ant-design-vue/es/date-picker/locale/zh_CN"; 打印出locale是这样的 这个文件翻译文件中没有相关翻译 3、解决: 简单粗…

【实战场景】记一次UAT jvm故障排查经历

【实战场景】记一次UAT jvm故障排查经历 开篇词:干货篇:1.查看系统资源使用情况2.将十进制进程号转成十六进制3.使用jstack工具监视进程的垃圾回收情况4.输出指定线程的堆内存信息5.观察日志6.本地环境复现 总结篇:我是杰叔叔,一名…

Objective-C使用块枚举的细节

对元素类型的要求 在 Objective-C 中,NSArray 只能存储对象类型,而不能直接存储基本类型(例如 int)。但是,可以将基本类型封装在 NSNumber 等对象中,然后将这些对象存储在 NSArray 中。这样,en…

H6922 便携移动储能升压恒压方案 2.8-40V耐压 7.5A大电流应用芯片IC

H6922芯片是一款便携移动储能升压恒压控制驱动芯片,满足2.8-40V宽输入电压范围的升压恒压电源应用而设计。下面我将基于您提供的信息,对H6922的特性和典型应用进行更详细的解释。 产品特性详解 宽输入电压:H6922支持2.8-40V的宽输入电压范围…

【Windows】Visual Studio Installer下载缓慢解决办法

【Windows】Visual Studio Installer下载缓慢解决办法 1.背景2.分析3.结果 1.背景 使用visual studio在线安装包进行IDE安装,发现下载几乎停滞,网速几乎为零。 经过排查并不是因为实际网络带宽导致。 这里涉及DNS知识; DNS(Dom…

SCI丨5分期刊,JCR一区

SCI,5分,JCR Q1,中科大类3小类2区 1 基于复杂网络与xxx能源汽车节能数值分析 2 基于热能损失优化的xxx与性能管理 3 基于xxxLCA技术的绿色制造工艺优化研究 4 基于xxx入侵检测技术的物联网智能制造监控系统设计 6 基于物联网技术xxx电力系…

BMP280 环境传感器

型号简介 BMP280是博世(bosch-sensortec)的一款气压传感器,特别适用于移动应用。其小尺寸和低功耗使其能够应用于电池供电的设备,如手机、GPS 模块或手表。基于博世久经考验的压阻式压力传感器技术,具有高精度和线性度…

Elasticsearch备份数据到本地,并导入到新的服务 es 服务中

文章目录 使用elasticsearch-dump工具备份安装node.js(二进制安装)解压设置环境变量安装elasticsearch-dump docker安装使用ES备份文件到本地 使用elasticsearch-dump工具备份 这个工具备份时间比较长 安装node.js(二进制安装) wget https://nodejs.org/dist/v16.18.0/node-…

SpringBoot: Eureka入门

1. IP列表 公司发展到一定的规模之后,应用拆分是无可避免的。假设我们有2个服务(服务A、服务B),如果服务A要调用服务B,我们能怎么做呢?最简单的方法是让服务A配置服务B的所有节点的IP,在服务A内部做负载均衡调用服务B…

基于FPGA的DDS信号发生器

前言 此处仅为基于Vivado实现DDS信号发生器的仿真实现,Vivado的安装请看下面的文章,这里我只是安装了一个标准版本,只要能够仿真波形即可。 FPGA开发Vivado安装教程_vivado安装 csdn-CSDN博客 DDS原理 DDS技术是一种通过数字计算生成波形…

图解 Kafka 架构

写在前面 Kafka 是一个可横向扩展,高可靠的实时消息中间件,常用于服务解耦、流量削峰。 好像是 LinkedIn 团队开发的,后面捐赠给apache基金会了。 kafka 总体架构图 Producer:生产者,消息的产生者,是消息的…

排序算法系列一:选择排序、插入排序 与 希尔排序

目录 零、说在前面 一、理论部分 1.1:选择排序 1.1.1:算法解读: 1.1.2:时间复杂度 1.1.3:优缺点: 1.1.4:代码: 1.2:插入排序 1.2.1:算法解读&#x…

上位机图像处理和嵌入式模块部署(mcu 项目1:上位机编写)

【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing 163.com】 前面,我们说过要做一个报警器。如果只是简单做一个报警器呢,这个基本上没有什么难度。这里,我们就适当提高一下…

某业帮六月校招后端笔试

题目一 解题思路 签到题,dp就行。 题目二 解题思路 这个比较烦人,需要处理额外的引号和括号。用DFS,对于每个间隙,插入与不插入都搜一遍。 题目三 解题思路: 双指针,左右各一个指针,对比长度&…

如何在Python中拷贝类对象到数组

1、问题背景 在Python中,我们经常需要存储多个对象的集合。有时,我们需要拷贝这些对象,以便在不修改原始对象的情况下对它们进行操作。例如,在下述代码中,我们在colors列表中存储了多个Color对象,然后我们创…

单线激光雷达-多线激光雷达安装测试

单线激光雷达思岚 S 系列 参数简介 单线激光雷达的参数,主要看扫描频率(Hz),扫描范围(度),最大测距距离(m)以及单 圈点数)。机器人运动速度越快&#xff0c…

Windows系统安装NVM,实现Node.js多版本管理

目录 一、前言 二、NVM简介 三、准备工作 1、卸载Node 2、创建文件夹 四、下载NVM 五、安装NVM 六、使用NVM 1、NVM常用操作命令 2、查看NVM版本信息 3、查看Node.js版本列表; 4、下载指定版本Node.js 5、使用指定版本Node.js 6、查看已安装Node.js列…

《后端程序猿 · 基于 Lettuce 实现缓存容错策略》

📢 大家好,我是 【战神刘玉栋】,有10多年的研发经验,致力于前后端技术栈的知识沉淀和传播。 💗 🌻 近期刚转战 CSDN,会严格把控文章质量,绝不滥竽充数,如需交流&#xff…

在卷积神经网络(CNN)中为什么可以使用多个较小的卷积核替代一个较大的卷积核,以达到相同的感受野

在卷积神经网络(CNN)中为什么可以使用多个较小的卷积核替代一个较大的卷积核,以达到相同的感受野 flyfish 在卷积神经网络(CNN)中,可以使用多个较小的卷积核替代一个较大的卷积核,以达到相同的…