深入探索 RUM 与全链路追踪:优化数字体验的利器

作者:梅光辉(重彦)

背景介绍

随着可观测技术的持续演进,多数企业已广泛采用 APM、Tracing 及 Logging 解决方案,以此强化业务监控能力,尤其在互联网行业,产品的体验直接关系着用户的口碑,决定了市场命运,使得 RUM(真实用户监控)日益受到重视。然而,在面对由后端服务故障引起的体验问题时(例如,后端接口延迟引发的 APP 白屏或页面加载缓慢),如何有效的关联 RUM、APM 监控数据以及 Tracing 上下文,辅助问题排查以及影响面评估,成为一大挑战。

解决这一问题的关键在于如何实现从用户端到服务端的全链路打通,而 RUM 作为贴近用户的监测起点,天然适合担当此角色。本文旨在探讨端到端链路打通的解决方案,并分享 RUM 与端到端链路集成的最佳实践。

端到端链路打通的难点

技术架构复杂,多端、跨语言、跨团队场景多

一个典型的互联网应用,通常会包含用户终端(Web & 小程序/Android/iOS)、网关代理层(ALB/MSE/Ingress/Nginx)、后端服务(Java/Go/Python)以及中间件(数据库、消息、缓存)等部分,涵盖了前、后端开发以及中间件、运维团队,实现全链路打通,往往会面临以下问题:

1)不同的链路追踪工具,支持的主流语言、框架不一致,对跨端场景不友好;

2)生产环境实施,需要前后端开发人员、中间件以及运维同学通力协作,接入成本较高;

3)链路打通之后,如何与 RUM、APM 等监控数据、以及日志打通,方便问题排查与定界。

不同协议无法兼容,生产环境难以平滑切换

针对端到端链路打通场景,目前,主流的链路追踪项目,比如:OpenTelemetry、Zipkin、Jaeger、Skywalking 等,都有定义各自的链路传播协议:

  • OpenTelemetry:w3c 透传协议
  • Skywalking:sw8(v3)透传协议
  • ZipKin:b3/b3multi 透传协议
  • Jaeger:jaeger 透传协议

但是,不同协议间存在兼容性问题,比如:OpenTelemetry 和 Skywalking 就无法相互兼容,而且不同厂商和开源项目对各透传协议的支持力度也不一致:

因此,通常情况下,想要串联起完整的调用链路,就要求后端系统必须采用相同或者兼容的 Trace 协议,前端应用也需要引入对应的 SDK,并且,中间链路各个环节,比如:网关代理层,也必须保证协议 Header 的透传。

基于 OTel 与 W3C 的端到端链路解决方案

关注可观测领域的同学应该知道,近些年行业发展的一个显著趋势,是不断向标准化和开源生态方向整合,上文提到的 OpenTelemetry 项目和 W3C Trace Context 标准,都是这一趋势的代表项目,以下通过链路透传场景、链路透传协议以及跨协议兼容几个方面介绍基于 OTel 和 W3C Trace Context 的端到到链路解决方案。

链路透传场景

OpenTelemetry 使用一种称为“传播器”(Propagators)的机制来实现在不同环境和协议中 Trace 上下文的透传,确保在一个分布式系统中能够追踪完整的请求链路。无论是进程内还是进程间的通信,其核心都是通过特定的格式在请求头中携带必要的追踪信息。下面是 OpenTelemetry 如何在不同场景下实现 Trace 上下文透传的方案介绍:

进程内透传
  • 单线程场景: 在单线程环境下,由于所有操作都在同一个线程上执行,因此可以直接通过局部变量(比如在 Java 语言中,通常会采用 ThreadLocal)来存储当前 Span 信息,当新的操作开始时,可以将当前 Scope 的 Span 作为 Parent Span,从而传递了 Trace 上下文;
  • 多线程/异步场景: 在多线程异步编程场景,则需要在任务提交或异步调用时显式的携带Span上下文,比如:OpenTelemetry 就提供了 API(如:context.with(currentSpan))来创建一个带有特定 Span 的新 Context,并在此 Context 的作用域内执行代码,这样,即使是异步执行,也能确保 Trace 上下文可以被正确的传递和应用。
进程间透传
  • HTTP 场景: 通常是将 Trace 上下文编码到 HTTP 请求头中,比如:上文提到的 W3C Trace Context 标准,就采用了 traceparent、tracestate 两个 header 来传递 Trace 上下文信息,客户端在发起请求时,会自动将当前的 Trace 信息添加到 HTTP 头中;服务端接收到请求后,通过相应的传播器解析这些头部,恢复或延续 Trace 上下文。
  • RPC 和其他自定义协议场景: 对于非 HTTP 协议,如 gRPC、MQTT 等,原理类似,也是通过协议允许的头部或元数据字段来携带 Trace 上下文信息。OpenTelemetry 提供了多种传播器(如 JaegerPropagator、B3Propagator、W3CBaggagePropagator 等),可以根据具体协议的要求选择合适的传播器来序列化和反序列化 Trace 上下文。
  • 消息队列场景: 在消息队列场景中,通常将 Trace ID、Span ID 等信息作为消息的属性或元数据随消息一起发送,接收方可以从消息中提取这些信息并恢复上下文。
  • 数据库场景: 目前主流的数据库,比如:MySQL、PG 等,底层协议层面尚未提供相应扩展机制,因此绝大数链路追踪工具,包括:OpenTelemetry,均采用了客户端插桩的方式,仅在应用侧记录耗时、以及执行 SQL 等关键信息。

链路透传协议

这里重点介绍下 W3C Trace Contxt,也是目前国内外使用最多的一个协议标准,W3C Trace Context 是 W3C 组织所推出的一个规范,旨在规范分布式追踪中跟踪信息的传播格式,除了 HTTP 场景以外,也支持二进制、以及消息等场景(目前还处于 Draft 状态),详见 W3C 官网 [ 1]

W3C Trace Context(HTTP Protocol)

Trace Context 规范主要定义了两个 HTTP 头部字段:traceparent 和 tracestate。

  1. traceparent:采用扩展的巴科斯范式(ABNF)定义,由四个部分组成:
traceparent: {version}-{trace-id}-{parent-id}-{trace-flags}
  • version:2 位十六进制数字,表示当前 traceparent 头部字段的版本,如:00;
  • trace-id:32 位十六进制数字,用于表示整个 Trace 链路的唯一 ID,如:ec95e5a118ce450eac82ab9ec530b287;
  • parent-id:16 位十六进制数字,用于表示当前请求或操作的唯一 ID,如:a7be58f9cd8dd80d;
  • trace-flags:2 位十六进制数字,用于控制追踪标志,包含采样、追踪级别等,如:01。
  1. tracestate:是对 traceparent 字段的扩展,用于携带额外的、服务间可能需要的追踪状态信息,并且是 traceparent 字段的伴随标头。
tracestate: {vendor1Key}={vendor1Value},{vendor2Key}={vendor2Value},...

链路传播器

OpenTelemetry 项目几乎已经支持了除 sw8 以外大多数透传协议,并且还内置了一些国内外云厂商的协议传播器,同时 Opentelemetry 也支持自定义 Propagator,我们可以组合不同的 Propagator,也可以基于 Opentelemetry 的 TextMapPropagator 实现一个自己的 Propagator。

RUM 集成端到端链路的最佳实践

为什么 RUM 适合作为链路入口

前面提到,RUM 作为用户请求的入口,在解决链路打通问题上,天生就具备优势。一个比较直观的解法,就是直接在 RUM 端侧生成链路追踪的 TraceID,然后通过透传协议,以 HTTP Header 的形式将 Trace 上下文传递给后端,后端应用就可以基于协议 Header,来初始化 Trace 上下文,并在后端系统调用中进行传递。

相比直接在端侧集成开源协议 SDK,RUM 集成链路追踪还具有以下优势:

  • 优势一: 可以将用户体检监控中的错误、缓慢、以及用户会话数据,与链路追踪数据联动,实现端到端分析,比如:某个用户请求,在端侧看可能很慢,但是后端链路显示耗时并不长,此时,结合 RUM 与后端调用链数据,最终发现是 DNS、网络层耗时较长;
  • 优势二: 无需在端侧集成开源协议 SDK,也无需关心端侧链路数据上报的问题,尤其对于一些存在多个后端服务域名,并且协议还不相同的应用,可以在 RUM 产品中为不同域名设置不同的透传协议,一次接入即可实现一站式监控体验,极大降低了接入成本。

RUM 与 Trace 数据模型的融合

目前主流的 RUM 开源项目以及国内外云厂商,数据模型上基本都是以用户、会话作为核心,以 Event 的方式记录前端用户的页面加载、资源请求(包含 API 与静态资源),同时也会包含请求错误、JS 错误、崩溃、卡顿、自定义错误等异常数据,通过 API 请求,我们可以将 RUM 数据与后端调用链数据进行关联,从而获得从端侧用户到后端服务的完整链路,而 RUM Event 数据模型和 Trace Span 数据模型本身其实也是可以相互转换的。

RUM 与端到端链路集成的两种方案

方案一:RUM 转 Span,构建完整 Trace 链路

RUM 转 Trace 的方案,通常是在端侧应用中接入 RUM 探针,通过 RUM 进行协议透传,同时记录 Trace 上下文信息,并在 RUM 数据接收侧,将 RUM Event 数据转换为标准的 Trace Span 数据,并将 RUM 相关信息(如:user、session、view 等)注入到 Span Attributes 中,这么做的好处是:我们可以在 RUM 与 Trace 中实现互联互通,从而在线上问题排查中,可以方便的进行根因定位,并直观的评估对用户侧产生的影响。

方案二:Span 转 RUM,基于 OTel 的扩展机制构建

Span 转 RUM 的方案,则是在端侧应用中接入 OTel SDK,然后通过 OTel 提供的扩展机制,在 OTel Collector 中实现一个自定义的 rum exporter,将 OTel SDK 上报的 Span 数据转换为 RUM Event 数据,当然,你也可以在端侧同时引入 RUM 与 OTel 的 SDK,然后通过 OTel SDK 中提供 SpanProcessor 进行扩展,像开源 RUM 项目 Sentry 就采用的是这种方案。

但是这个方案对于 RUM 的数据模型有一定要求,最好的方式就是 OTel 能够支持RUM数据模型,目前 OTel 社区也有相关的小组,正在往这个方向努力,具体可以参考 Github 上这个 Issue:https://github.com/open-telemetry/oteps/issues/169

RUM 集成端到端链路的实际应用

全链路洞察

RUM 与 Trace 链路打通后,一个最直观的应用场景就是全链路洞察,可以实现故障根因的快速定界,无需跳转产品和页面,这一点对于一些角色职责分离的大型团队比较有价值。

影响面分析

另外一个比较重要的应用场景,就是当后端系统出现问题时,可以记录故障期间用户侧的所有操作,同时结合调用链可以方便的定位出哪些请求受到了后端故障影响,从而精准地定位出故障的影响面,包含受影响的客户列表、终端设备、运营商、地域等信息。在某些情况下,还可以帮助我们判断线上问题处理优先级。

总结展望

本文主要介绍了基于 OpenTeletemetry 与 W3C 协议构建端到端全链路的解决方案,同时探讨了 RUM 与端到端链路集成的最佳实践,希望可以为大家在生产环境落地应用提供一些参考。实际上,除了上面介绍到的全链路洞察根因定位,以及影响面分析外,RUM 与全链路追踪的应用场景还有很多,比如:对于一些生产环境难以复现的问题,可以结合 RUM 的会话重放功能,进行问题复现等,对于解决线上疑难问题,优化用户体验,绝对是一大利器。

相关链接:

[1] W3C 官网

https://w3c.github.io/trace-context-protocols-registry/

[2] W3C Trace Context

https://www.w3.org/TR/trace-context/

[3] W3C Baggage

https://www.w3.org/TR/baggage/

[4] B3

https://github.com/openzipkin/b3-propagation

[5] B3Multi

https://github.com/openzipkin/b3-propagation

[6] Jaeger

https://www.jaegertracing.io/docs/1.21/client-libraries/#propagation-format

[7] OpenTracing

https://github.com/opentracing?q=basic&type=&language=

[8] AWS X-Ray

https://docs.aws.amazon.com/xray/latest/devguide/xray-concepts.html#xray-concepts-tracingheader

[9] 相关文档

https://www.w3.org/TR/trace-context/

[10] 相关文档

https://github.com/openzipkin/b3-propagation

[11] 相关文档

https://github.com/openzipkin/b3-propagation

[12] 相关文档

https://www.jaegertracing.io/docs/1.21/client-libraries/#propagation-format

[13] 相关文档

https://skyapm.github.io/document-cn-translation-of-skywalking/zh/8.0.0/protocols/Skywalking-Cross-Process-Propagation-Headers-Protocol-v3.html

参考文章:

[1] https://opentelemetry.io/docs/

[2] https://www.w3.org/TR/trace-context/

[3] https://w3c.github.io/trace-context-protocols-registry/

[4] https://docs.google.com/document/d/16Vsdh-DM72AfMg_FIt9yT9ExEWF4A_vRbQ3jRNBe09w/edit?pli=1

[5] https://develop.sentry.dev/sdk/telemetry/traces/opentelemetry/#step-1-implement-the-sentryspanprocessor-on-your-sdk

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/432238.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Adaptive Graph Contrastive Learning for Recommendation

Adaptive Graph Contrastive Learning for Recommendation(KDD23) 源码: https://github.com/HKUDS/AdaGCL 摘要 图神经网络(GNNs)最近作为推荐系统中的有效协同过滤(CF)方法受到关注。基于GNN…

昇思MindSpore进阶教程-优化器

大家好,我是刘明,明志科技创始人,华为昇思MindSpore布道师。 技术上主攻前端开发、鸿蒙开发和AI算法研究。 努力为大家带来持续的技术分享,如果你也喜欢我的文章,就点个关注吧 模型训练过程中,使用优化器更…

BACnet MS/TP协议解析(3)

1、MS/TP帧格式 例如数据(hex):55 FF 01 03 02 00 00 D7 0x550xff0x010x030x020x000x000xD7BACnet数据BACnet数据CRC帧头帧类型目的地址源地址BACnet数据长度,大端CRC 2、帧类型 帧类型目前定义为 0-7,8-127 为 AS…

【Unity踩坑】Textmesh Pro是否需要加入Version Control?

问题:如果Unity 项目中用到了Textmesh pro,相关的文件是否也需要签入呢? 回答: 在使用 Unity 的 Version Control(例如 Plastic SCM 或 Git)时,如果你的项目中使用了 TextMesh Pro&#xff0c…

TCN预测 | MATLAB实现TCN时间卷积神经网络多输入单输出回归预测

TCN预测 | MATLAB实现TCN时间卷积神经网络多输入单输出回归预测 目录 TCN预测 | MATLAB实现TCN时间卷积神经网络多输入单输出回归预测预测效果基本介绍模型描述程序设计参考资料预测效果

武汉正向科技 格雷母线检测方式 :车检,地检

正向科技|格雷母线原理运用-车检,地检 地上检测方式 地址编码器和天线箱安装在移动站上,通过天线箱发射地址信号,地址解码器安装在固定站(地面)上,在固定站完成地址检测。 车上检测方式 地址编码器安装在…

MySQL Mail服务器集成:如何配置发送邮件?

MySQL Mail插件使用指南?怎么优化 MySQL发邮件性能? MySQL Mail服务器的集成,使得数据库可以直接触发邮件发送,极大地简化了应用架构。AokSend将详细介绍如何配置MySQL Mail服务器,以实现邮件发送功能。 MySQL Mail&…

SegFormer网络结构的学习和重构

因为太多的博客并没有深入理解,本文是自己学习后加入自己深入理解的总结记录,方便自己以后查看。 segformer中encoder、decoder的详解。 学习前言 一起来学习Segformer的原理,如果有用的话,请记得点赞关注哦。 一、Segformer的网络结构图 网络结构&…

JavaWeb 12.Tomcat10

希望明天能出太阳 或者如果没有太阳的话 希望我能变得更加阳光一点 —— 24.9.25 一、常见的JavaWeb服务器 Web服务器通常由硬件和软件共同构成 硬件:电脑,提供服务供其他客户电脑访问 软件:电脑上安装的服务器软件,安装后能提…

TIOBE 编程指数 9 月排行榜公布 VB.Net第七

原文地址:百度安全验证 IT之家 9 月 8 日消息,TIOBE 编程社区指数是一个衡量编程语言受欢迎程度的指标,评判的依据来自世界范围内的工程师、课程、供应商及搜索引擎,今天 TIOBE 官网公布了 2024 年 9 月的编程语言排行榜&#xf…

介绍 Agent Q:迎接下一代 AI 自动化助手

引言 在科技领域,随着人工智能的不断进步,自动化工具日益成为提升效率的重要手段。今天,我将向大家介绍一款名为 Agent Q 的 AI 自动化助手。这款工具不仅能够完成复杂的任务,还支持交互式命令行操作,使得用户体验更为…

飞驰云联亮相电子半导体数智化年会 获”数据交换领域最佳厂商”

2024年9月20日,“2024第二届电子半导体/智能制造数智化年会暨品牌出海论坛”于上海隆重开幕,Ftrans飞驰云联作为国内领先的数据安全交换厂商,应邀携半导体全场景产品和解决方案亮相此次峰会。会上进行了“智象奖”评选,Ftrans飞驰…

java并发之并发关键字

并发关键字 关键字一:volatile 可以这样说,volatile 关键字是 Java 虚拟机提供的轻量级的同步机制。 功能 volatile 有 2 个主要功能: 可见性。一个线程对共享变量的修改,其他线程能够立即得知这个修改。普通变量不能做到这一点&a…

从零开始学习PX4源码5(遥控器数据)

#目录 文章目录 摘要1.PX4 遥控器控制整体流程2.PX4 遥控器输入程序3.PX4 遥控器数据外部调用接口4.PX4 遥控器手动(姿态控制)变量5.遥控器数据整体流程摘要 本节主要记录PX4代码中如何获取遥控器数据,遥控器数据如何被外界调用的过程,欢迎批评指正。 1.PX4 遥控器控制整…

JAVA-StringBuilder和StringBuffer

一、认识String类 1.认识 String在Java中是字符串类型,但与其他类型不同。它是一个类,可以创建对象的类。与int、char等自待类型有些许不同。但它仍然是java提供的一种类型。 类中有4个属性,这里主要认识一下value属性。它是实际存放字符串…

2024 IDEA软件 部署tomcat 十二步 运行web页面(html类似的)(中英文对照版本)新手小白易上手

目录 一、准备工作(三必备): 1、自己的web项目 2、idea软件(我是2023.1.2版本) 3、tomcat X.X版本 二 、正式开始步骤,不废话!! 1、 点击菜单栏中 “File”(文件&…

NASA数据集:ATLAS/ICESat-2 L3A 海洋地表高度 V006

ATLAS/ICESat-2 L3A Ocean Surface Height V006 目录 简介 摘要 代码 引用 网址推荐 0代码在线构建地图应用 机器学习 简介 该数据集(ATL12)包含全球开阔洋(包括无冰季节冰区和近海岸地区)的沿轨海面高度。 还提供了高度…

C++ 9.25

手动实现栈、和队列 stack #include <iostream> using namespace std; class Stack { private: int* arr; // 存储栈元素的数组 int top; // 栈顶索引 int capacity; // 栈的容量 public: Stack(int size) { arr new int[size]; c…

FLStudio21Mac版flstudio v21.2.1.3430简体中文版下载(含Win/Mac)

给大家介绍了许多FL21版本&#xff0c;今天给大家介绍一款FL Studio21Mac版本&#xff0c;如果是Mac电脑的朋友请千万不要错过&#xff0c;当然我也不会忽略掉Win系统的FL&#xff0c;链接我会放在文章&#xff0c;供大家下载与分享&#xff0c;如果有其他问题&#xff0c;欢迎…

基于Python大数据的音乐推荐及数据分析可视化系统

作者&#xff1a;计算机学姐 开发技术&#xff1a;SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等&#xff0c;“文末源码”。 专栏推荐&#xff1a;前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码 精品专栏&#xff1a;Java精选实战项目…