双十一线上服务调用链路追踪SkyWalking实战分析

序言

随着电商行业的飞速发展,双十一购物节已成为全球最大的购物狂欢节之一。在双十一期间,电商平台需要处理海量的用户请求和订单,这对系统的稳定性和性能提出了极高的要求。为了确保系统在高并发环境下的稳定运行,对线上服务的调用链路进行追踪和分析显得尤为重要。本文将通过实战案例,详细介绍如何在双十一期间使用SkyWalking对线上服务进行调用链路追踪,并结合Seata实现分布式事务管理,从而保障系统的稳定性和性能。

场景案例描述

背景介绍

某知名电商平台计划在双十一期间推出大规模促销活动,预计用户访问量和交易量将激增。为了确保系统能够应对高并发访问,平台技术团队决定引入调用链路追踪和分布式事务管理技术。具体来说,技术团队希望通过SkyWalking实现调用链路的实时监控和分析,同时利用Seata处理分布式事务,确保数据的一致性和完整性。

技术挑战

  1. 高并发处理:双十一期间,系统需要处理比平时高出数倍甚至数十倍的并发请求,这对系统的负载能力和响应速度提出了巨大挑战。
  2. 调用链路复杂:电商平台的业务逻辑通常涉及多个微服务之间的调用,调用链路复杂且难以追踪。
  3. 数据一致性:在分布式系统中,如何确保多个服务之间的数据一致性是一个关键问题。

解决业务场景思路

引入SkyWalking进行调用链路追踪

SkyWalking是一个开源的APM(应用性能监控)和可观测性分析平台,专为微服务、云原生架构和基于容器的架构设计。它提供了分布式追踪、服务网格遥测分析、度量聚合和可视化一体化的解决方案。通过SkyWalking,技术团队可以实时监控和分析系统的调用链路,快速定位性能瓶颈和故障点。

SkyWalking的核心功能
  • 分布式追踪:追踪分布式系统中的请求流,记录请求在各个组件之间的传递过程,识别性能瓶颈。
  • 性能监控:监控关键性能指标,如响应时间、吞吐量等,帮助了解系统的整体性能表现。
  • 问题排查:提供详细的跟踪信息,帮助快速定位和解决系统中的问题。
  • 可视化界面:提供丰富的图表分析功能,如拓扑图、调用链路分析、性能趋势等。
SkyWalking的架构组件
  • 探针(Agent):负责收集应用运行时的性能数据,如方法调用、服务调用、异常等。探针以非侵入的方式工作,对应用程序的性能影响非常小。
  • 平台后端(OAP):负责接收探针发送的数据,并进行数据的聚合、分析和存储。OAP支持水平扩展,可以通过增加节点来处理更多的数据。
  • 展示页面(UI):提供了一个直观的界面,用于展示监控数据和分析结果。UI支持多种图表和视图,如拓扑图、服务地图、调用链、性能指标等。
  • 存储:支持多种存储解决方案,如MySQL、ElasticSearch、H2等,以适应不同的部署需求和性能要求。

使用Seata管理分布式事务

Seata是一个开源的分布式事务解决方案,由阿里巴巴和蚂蚁金服共同研发。它提供了一种对业务代码侵入性较小的方式来处理分布式事务问题,确保多个服务间的操作可以保持原子性和一致性。

Seata的核心组件
  • TC(Transaction Coordinator):事务协调者,负责维护全局和分支事务的状态,驱动全局事务提交或回滚。
  • TM(Transaction Manager):事务管理器,定义全局事务的范围,负责开始全局事务,并在事务结束时根据业务执行的结果发起全局提交或全局回滚的请求给TC。
  • RM(Resource Manager):资源管理器,管理分支事务处理的资源,与TC交谈以注册分支事务和报告分支事务的状态,并驱动分支事务的提交或回滚。
Seata的事务模式
  • AT模式:基于数据库层面的自动补偿机制,通过拦截SQL语句并在数据库中记录回滚日志来达到分布式事务的一致性。
  • TCC模式:一种编程模型,要求业务开发人员实现Try(尝试)、Confirm(确认)和Cancel(取消)三个接口方法,以手动编写业务补偿逻辑。
  • SAGA模式:通过一系列子事务的正向和逆向操作序列来实现最终一致性。

实战步骤

1. 部署SkyWalking

首先,需要在服务器上部署SkyWalking。下载SkyWalking的压缩包并解压,然后编辑配置文件application.yml,配置存储后端(如ElasticSearch)和其他相关参数。启动SkyWalking OAP服务和Web UI服务。

yaml复制代码
# application.yml 配置文件示例
storage:
selector: ${SW_STORAGE:elasticsearch}
elasticsearch:
properties:
jdbcUrl: ${SW_JDBC_URL:"jdbc:mysql://localhost:3306/skywalking"}
dataSource.user: ${SW_DATA_SOURCE_USER:root}
dataSource.password: ${SW_DATA_SOURCE_PASSWORD:root}

启动命令:

bash复制代码
# 启动SkyWalking OAP服务
./bin/startup.sh oap
# 启动SkyWalking Web UI服务
./bin/startup.sh webapp
2. 集成SkyWalking Agent

在电商平台的各个微服务中集成SkyWalking Agent,以便收集调用链路数据。将Agent的JAR包添加到每个服务的启动参数中,并配置服务名称和Collector地址。

bash复制代码
# 启动服务时添加SkyWalking Agent参数
java -javaagent:/path/to/skywalking-agent.jar -Dskywalking.agent.service_name=YourServiceName -Dskywalking.collector.backend_service=localhost:11800 -jar your-application.jar
3. 部署Seata服务

下载并部署Seata服务,配置事务日志存储(如MySQL)和其他相关参数。启动Seata服务。

yaml复制代码
# Seata配置文件示例
store:
mode: db
db:
datasource: druid
dbType: mysql
driverClassName: com.mysql.cj.jdbc.Driver
url: jdbc:mysql://localhost:3306/seata
user: mysql
password: mysql

启动命令:

bash复制代码
# 启动Seata服务
./seata-server.sh start
4. 集成Seata客户端

在电商平台的各个微服务中集成Seata客户端,配置事务组名称和服务地址。在每个需要分布式事务支持的方法上添加@GlobalTransactional注解。

java复制代码
// 在Spring Boot应用的主类上添加注解
@EnableAutoConfiguration
@EnableTransactionManagement
@EnableGlobalTransaction
public class YourApplication {
public static void main(String[] args) {SpringApplication.run(YourApplication.class, args);}
}
// 在需要分布式事务支持的方法上添加注解
@Service
public class YourService {
@GlobalTransactional
public void yourTransactionalMethod() {
// 业务逻辑代码}
}
5. 监控与分析

启动电商平台服务,并通过SkyWalking Web UI监控调用链路和性能指标。在双十一期间,技术团队可以实时监控系统的调用情况和性能指标,快速定位和解决性能瓶颈和故障点。

同时,通过Seata确保分布式事务的一致性。在事务提交或回滚时,Seata会协调各个分支事务的状态,确保数据的一致性。

底层原理介绍

SkyWalking的工作原理

SkyWalking通过探针(Agent)收集应用运行时的性能数据,并将数据发送到平台后端(OAP)进行处理和存储。OAP对收集到的数据进行聚合、分析和存储,并通过展示页面(UI)提供可视化展示。

Trace与Span
  • Trace:表示一次完整的请求处理过程,从客户端发起请求到服务器返回响应结束。每个Trace有一个唯一的Trace ID来标识。
  • Span:是Trace的基本单元,代表请求在单个服务节点上的处理过程。每个Span有自己的Span ID,并且包含在特定的Trace中。
数据采集与传输

SkyWalking Agent通过字节码增强技术,拦截服务的方法调用和数据库操作等,生成Span数据。Agent将Span数据打包后发送到OAP进行处理。

数据存储与查询

OAP将处理后的数据存储到配置的存储后端中(如ElasticSearch)。用户可以通过SkyWalking UI查询和分析存储的数据,了解系统的调用链路和性能指标。

Seata的工作原理

Seata通过引入全局事务的概念,将分布式事务划分为多个局部的分支事务。Seata通过TC、TM和RM三个关键组件来协调和管理分布式事务。

全局事务与分支事务
  • 全局事务:由TM开启,并分配一个全局唯一的事务ID(XID)。
  • 分支事务:参与全局事务的局部事务,由RM管理。每个分支事务在提交或回滚时,都会向TC报告状态。
两阶段提交协议

Seata采用两阶段提交协议来确保分布式事务的一致性。

  1. 第一阶段(准备阶段)
    • TM开启全局事务,并分配XID。
    • RM注册分支事务,并记录操作日志(Undo Log和Redo Log)。
    • RM向TC报告分支事务的准备状态。
  1. 第二阶段(提交/回滚阶段)
    • TC根据所有分支事务的准备状态,决定全局事务是提交还是回滚。
    • TC通知所有RM提交或回滚分支事务。
    • RM根据TC的指令,执行提交或回滚操作,并利用Undo Log或Redo Log进行补偿。

总结

通过在双十一期间引入SkyWalking进行调用链路追踪和Seata管理分布式事务,电商平台技术团队能够实时监控和分析系统的调用链路和性能指标,快速定位和解决性能瓶颈和故障点。同时,Seata确保了分布式事务的一致性,保障了数据的完整性和可靠性。这种组合方案为电商平台在双十一期间的高并发访问和交易处理提供了有力的技术保障。

未来,随着云原生和分布式架构的普及,分布式追踪和监控技术将进一步发展。SkyWalking和Seata等开源项目将不断完善和扩展其功能,为开发者提供更加全面和高效的解决方案。同时,结合机器学习和AI算法等智能化技术,分布式监控系统将能够自动识别性能异常和故障模式,实现主动式监控和自动化运维,进一步提升系统的稳定性和可靠性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/479873.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

RabbitMQ7:消息转换器

欢迎来到“雪碧聊技术”CSDN博客! 在这里,您将踏入一个专注于Java开发技术的知识殿堂。无论您是Java编程的初学者,还是具有一定经验的开发者,相信我的博客都能为您提供宝贵的学习资源和实用技巧。作为您的技术向导,我将…

C#开发合集

用C#轻松搞定m3u8视频下载与合并 嘿,程序员们!今天咱们来聊聊如何用C#写个小程序,轻松下载和合并m3u8视频文件。没错,就是那种分段的流媒体视频。准备好了吗?让我们开始吧! 准备工作 在动手之前&#xf…

HarmonyOS4+NEXT星河版入门与项目实战(22)------动画(属性动画与显示动画)

文章目录 1、属性动画图解2、案例实现-小鱼移动游戏1、代码实现2、代码解释3、资源图片4、实现效果3、显示动画4、案例修改-显示动画5、总结1、属性动画图解 这里我们用一张完整的图来汇整属性动画的用法格式和使用的主要属性范围,如下所示: 2、案例实现-小鱼移动游戏 1、代…

【rustdesk】客户端和服务端的安装和部署(自建服务器,docker,远程控制开源软件rustdesk)

【rustdesk】客户端和服务端的安装和部署(自建服务器,docker) 一、官方部署教程 https://rustdesk.com/docs/zh-cn/client/mac/ 官方服务端下载地址 https://github.com/rustdesk/rustdesk-server/releases 我用的docker感觉非常方便&am…

Qt程序发布及打包成exe安装包

参考:Qt之程序发布以及打包成exe安装包 目录 一、简述 Qt 项目开发完成之后,需要打包发布程序,而因为用户电脑上没有 Qt 配置环境,所以需要将 release 生成的 exe 文件和所依赖的 dll 文件复制到一个文件夹中,然后再用 Inno Setup 打包工具打包成一个 exe 安装包,就可以…

python学opencv|读取图像

【1】引言 前序学习了使用matplotlib模块进行画图,今天开始我们逐步尝试探索使用opencv来处理图片。 【2】学习资源 官网的学习链接如下: OpenCV: Getting Started with Images 不过读起来是英文版,可能略有难度,所以另推荐一…

数据结构 ——— 归并排序算法的实现

目录 归并排序的思想 归并排序算法的实现 归并排序的思想 将已经有序的子序列合并,得到完全有序的序列,即先使每个子序列有序后,再使子序列段间有序 若将两个有序表合并成一个有序表,称为二路归并 归并排序步骤示意图&#x…

Springboot项目搭建(6)-前端登录跳转与Pinia实用

1.添加响应错误拦截 文件地址:src\utils\request.js import axios from axios import { ElMessage } from element-plus const baseURL /api const instance axios.create({baseURL}) //添加拦截器 instance.interceptors.response.use(result>{&#x1f447…

多输入多输出 | Matlab实现TCN-LSTM时间卷积神经网络结合长短期记忆神经网络多输入多输出预测

多输入多输出 | Matlab实现TCN-LSTM时间卷积神经网络结合长短期记忆神经网络多输入多输出预测 目录 多输入多输出 | Matlab实现TCN-LSTM时间卷积神经网络结合长短期记忆神经网络多输入多输出预测预测效果基本介绍程序设计参考资料 预测效果 基本介绍 多输入多输出 | Matlab实现…

C++网络编程:select IO多路复用及TCP服务器开发

C网络编程:使用select实现IO多路复用 一、什么是 IO 多路复用?二、IO多路复用器 select三、相关接口3.1、fd_set 结构体3.2、宏和函数 四、select 实现 TCP 服务器五、总结 一、什么是 IO 多路复用? 在网络编程中,最容易想到的并…

HDU Go Running(最小点覆盖 + 网络流优化)

题目大意:有一条无限长跑道,每个人可以规定自己跑步的方向,起点,跑步起止时间。每个人跑步的速度都是1m/s。最后从监控人员哪里得到了n个报告,每个报告给出了某人在某一时候所在的位置,问跑步的最少可能人数…

28.UE5实现对话系统

目录 1.对话结构的设计(重点) 2.NPC对话接口的实现 2.1创建类型为pawn的蓝图 2.2创建对话接口 3.对话组件的创建 4.对话的UI设计 4.1UI_对话内容 4.2UI_对话选项 4.3UI_对话选项框 5.对话组件的逻辑实现 通过组件蓝图,也就是下图中的…

Reachy 2,专为AI与机器人实验室打造的卓越开源双臂移动操作平台!

近期,花粉机器人(POLLEN ROBOTICS)隆重推出Reachy 2仿生机器人——下一代开源操作平台,为AI与机器人实验室带来理想的双臂移动操作科研平台! Reachy 2的仿生性: 》拥有两个基于Maxon无刷电机的仿生7自由度…

python的openpyxl库设置表格样式:字体/边框/对齐/颜色等

学习目录 1. 安装和使用openpyxl库设置表格样式 2 设置字体font 3 设置边框 4 设置对齐方式 5 设置单元格数据格式 6 设置行高和列宽 7 填充单元格颜色 附录-关于颜色说明 本章节主要介绍如何使用openpyxl库设置表格中的一些样式,比如字体,边框…

Git旧文件覆盖引发思考

一天,我的同事过来找到我,和我讲:张叫兽,大事不好,我的文件被人覆盖了。git是真的不好用啊 git不好用?文件被覆盖;瞬间我似乎知道了什么,让我想到了某位男明星的语法:他…

QSqlTableModel的使用

实例功能 这边使用一个实例显示数据库 demodb 中 employee 数据表的内容,实现编辑、插入、删除的操作,实现数据的排序和记录过滤,还实现 BLOB 类型字段 Photo 中存储照片的显示、导入等操作,运行界面如下图: 在上图中…

什么是代理,nodenginx前端代理详解

一. 什么是代理? 代理就是通过一个特殊的网络服务去访问另一网络服务的一种间接访问方式。像我们不能直接访问国外的网站,只能使用VPN,就是使用了代理 二. 前端为什么要用代理? 首先明确以下两个概念 (1&#xff09…

java脚手架系列16-AI大模型集成

之所以想写这一系列,是因为之前工作过程中有几次项目是从零开始搭建的,而且项目涉及的内容还不少。在这过程中,遇到了很多棘手的非业务问题,在不断实践过程中慢慢积累出一些基本的实践经验,认为这些与业务无关的基本的…

网络安全中的数据科学如何重新定义安全实践?

组织每天处理大量数据,这些数据由各个团队和部门管理。这使得全面了解潜在威胁变得非常困难,常常导致疏忽。以前,公司依靠 FUD 方法(恐惧、不确定性和怀疑)来识别潜在攻击。然而,将数据科学集成到网络安全中…

【算法day1】数组:双指针算法

题目引用 这里以 1、LeetCode704.二分查找 2、LeetCode27.移除元素 3、LeetCode977.有序数组的平方 这三道题举例来说明数组中双指针的妙用。 1、二分查找 给定一个 n 个元素有序的(升序)整型数组 nums 和一个目标值 target ,写一个函数搜…