如何看懂SparkUI?

Jobs页面

在这里插入图片描述

Stage页面

在这里插入图片描述

  • 显示额外的指标和摘要指标:
    • 摘要指标(Summary Metrics)统计了所有完成的任务的执行行为,包括执行时间、GC时间、输入输出信息等,并提供了最小值(Min)、第25百分位数(P25)、中位数(P50)、第75百分位数(P75)和最大值(Max)的分布情况。
    • 通过勾选“显示额外指标”(Show Additional Metrics)中的选项,可以查看到额外的详细信息。

在这里插入图片描述
在这里插入图片描述

  1. 数据倾斜问题诊断:

    • 检查直方图数据中的Max指标栏,包括数据输入量、运行时间和GC等,与P50和P75的比较。
    • 如果数据量和执行时间远大于平均值,可能存在数据倾斜问题。
  2. Shuffle效率问题诊断:

    • 通过勾选Show Additional Metrics选项,观察ShuffleReadBlockTime指标。
    • 如果Task执行时间短,但ShuffleReadBlockTime较长,可能影响执行效率,甚至导致Shuffle Fetch Failed。
  3. 内存设置问题诊断:

    • 通过GC Time与Duration的比值判断内存设置是否合理。
    • 参考Peak Execution Memory(可能不完全准确)来分析内存使用的峰值。

使用Aggregated Metrics by Executor功能,对Task执行信息按Executor维度进行统计。

  • 该统计功能允许按照Executor维度对任务执行信息进行聚合。
  • 用户可以点击进行排序。
  • 如果发现作业运行速度比之前慢了很多,并且已经排除了数据倾斜和内存设置不合理的问题,可以通过查看统计值中的Executor数量来确定是否由于资源较少导致运行时间延长。
    在这里插入图片描述

Environment

  • 显示了当前应用程序使用的Spark版本。
  • 显示了所有的配置项。
  • 日常使用中,可以通过这个页面来确认配置(例如内存设置等)是否正确或者符合预期。
  • 该页面可用于查看和分析配置信息。
  • 如果想确认自己的作业执行主类设置是否正确,有个sun.java.command:
    在这里插入图片描述

Executors

  • 可以查看整个应用程序级别的Executor维度的概览统计信息。
  • 可以找到Driver以及Executor的日志链接。
  • 通过Executor概览信息中的GC时间等信息,可以判断内存设置是否合理。

在这里插入图片描述

SQL

  • 可以查看最近执行的SQL的详情。
  • 包括SQL对应的Job链接。
  • 包括SQL对应的执行图和执行计划。
    在这里插入图片描述

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/351098.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

HCIA11 网络安全之本地 AAA 配置实验

AAA 提供 Authentication(认证)、Authorization(授权)和 Accounting(计费)三种安全功能。 • 认证:验证用户是否可以获得网络访问权。 • 授权:授权用户可以使用哪些服务。 •…

黑马头条Minio报错non-xml response from server错误的解决方法

今天在写项目的时候,想测试minio上传文件功能是否正常, 但是每次都出现non-xml response from server的错误。 自己也在网上找了很多解决方法,大部分是说用户名和密码的配置问题,但是检查后发现并没有错误。 最后发现是自己的dock…

QT 5.14.2 应用程序打包

我们可以直接通过开发工具预览我们的程序。但是当要把开发好的程序给别人使用的时候,我们就需要把程序打包成可执行的exe,然后把这个exe文件和其他相关的文件一起发给别人,这样别人就可以使用了。 一、生成可独立运行的exe (一)、编译程序的…

图论(一)之概念介绍与图形#matlab

图论(一)之概念介绍与图形目录 前言 一、图论介绍 二、基本概念 2.1图的概念 2.2图形分类 2.3邻接矩阵 2.3.1无向图 2.3.2有向图 2.3.3有向赋权图 2.4出度(Outdegree) 2.5入度(Indegree) 3.四种…

联想电脑 调节屏幕亮度不起使用,按F5,F6,屏幕上的hotkeys进度条是在改变,但是屏幕没有一些作用的处理方法

1、查看驱动是否正常 Win键X ,设备管理器 发现似乎挺正常的。 查看原厂驱动:联想电脑管家 这样看来,驱动是没有问题了。 2、看看设置电池模式 其实还是这个电池模式的问题导致。 如果处于养护模式的话,充电只在75%~80%&#x…

【Numpy】一文向您详细介绍 np.round()

【Numpy】一文向您详细介绍 np.round() 下滑即可查看博客内容 🌈 欢迎莅临我的个人主页 👈这里是我静心耕耘深度学习领域、真诚分享知识与智慧的小天地!🎇 🎓 博主简介:985高校的普通本硕,…

【大数据】计算引擎:Spark核心概念

目录 前言 1.什么是Spark 2.核心概念 2.1.Spark如何拉高计算性能 2.2.RDD 2.3.Stage 3.运行流程 前言 本文是作者大数据系列中的一文,专栏地址: https://blog.csdn.net/joker_zjn/category_12631789.html?spm1001.2014.3001.5482 该系列会成体…

【SpringCloud学习笔记】RabbitMQ(上)

1. RabbitMQ简介 官网地址:https://www.rabbitmq.com/ 2. 安装方式 安装前置准备: 此处基于Linux平台 Docker进行安装,前置准备如下: Linux云服务器 / 虚拟机Docker环境 安装命令: docker run \-e RABBITMQ_DEFAU…

TCP与UDP案例

udp不会做拆分整合什么的 多大就是多大

【日记】第一次养植物,没什么经验……(781 字)

正文 前两天梦见灵送的几盆植物全都死掉了。梦里好伤心。醒来与她说这件事,她宽慰我说,梦都是反着的,肯定能活得很好的。于是忽然记起昨天给植物换水时,文竹的根居然从花盆底部伸吊了出来,以前都没有这种情况来着&…

探索智慧校园,引领数字化教育浪潮

在21世纪的教育版图上,智慧校园进一步发展。这是一场深度融合信息技术与教育实践的深刻转型,它不仅仅是在校园里简单叠加智能设备,而是一种从教育理念到实践模式全方位的革新。智慧校园如同一座桥梁,连接着过去与未来,…

【OrangePiKunPengPro】 linux下编译、安装Boa服务器

OrangePiKunPengPro | linux下编译、安装Boa服务器 时间:2024年6月7日21:41:01 1.参考 1.boa- CSDN搜索 2.Boa服务器 | Ubuntu下编译、安装Boa_ubuntu安装boa-CSDN博客 3.i.MX6ULL—ElfBoard Elf1板卡 移植boa服务器的方法 (qq.com) 2.实践 2-1下载代码 [fly752fa…

算法设计与分析 实验1 算法性能分析

目录 一、实验目的 二、实验概述 三、实验内容 四、问题描述 1.实验基本要求 2.实验亮点 3.实验说明 五、算法原理和实现 问题1-4算法 1. 选择排序 算法实验原理 核心伪代码 算法性能分析 数据测试 选择排序算法优化 2. 冒泡排序 算法实验原理 核心伪代码 算…

【Pycharm】设置双击打开文件

概要 习惯真可怕。很多小伙伴用习惯了VsCode开发,或者其他一些开发工具,然后某些开发工具是单击目录文件就能打开预览的,而换到pycharm后,发现目录是双击才能打开预览,那么这个用起来就特别不习惯。 解决办法 只需一…

摄影师在人工智能竞赛中与机器较量并获胜

摄影师在人工智能竞赛中与机器较量并获胜 自从生成式人工智能出现以来,由来已久的人机大战显然呈现出一边倒的态势。但是有一位摄影师,一心想证明用人眼拍摄的照片是有道理的,他向算法驱动的竞争对手发起了挑战,并取得了胜利。 迈…

大疆Pocket3手持记录仪格式化恢复方法

大疆Pocket系列是手持类产品,此类产品处理过不少像Pocket、Pocket2、Pocket3基本上涉及Pocket全系列,今天来看一个Pocket3误格式化之后的恢复方法。 故障存储: 120G存储卡 /文件系统:exFAT 故障现象: 在备份视频数据时由于操作失误导致初…

【云岚到家】-day03-1-门户等缓存方案选择

【云岚到家】-day03-1-门户-缓存方案选择 1 门户1.1 门户简介1.2 常见的技术方案1.2.1 需求1.2.2 常见门户1.2.2.1 Web门户1.2.2.2 移动应用门户1.2.2.3 总结 2 缓存技术方案2.1 需求分析2.1.1 界面原型2.2.2 缓存需求 3 SpringCache入门3.1 基础概念3.1.1 Redis客户端3.1.2 Sp…

【linux】Linux分析cpu问题

CPU使用率高怎么分析: 首先先看哪些线程占用资源高看每个线程在干啥(类似windows系统的任务管理器) 步骤: 定位应用进程 pid jps -l # 查看进程找到线程 tid top -Hp {pid}将 tid 转换成十六进制 printf "%x\n" {…

人工智能对零售业的影响

机器人、人工智能相关领域 news/events (专栏目录) 本文目录 一、人工智能如何改变零售格局二、利用人工智能实现购物体验自动化三、利用人工智能改善库存管理四、通过人工智能解决方案增强客户服务五、利用人工智能分析消费者行为六、利用 AI 打造个性化…

[Qt的学习日常]--常用控件1

前言 作者:小蜗牛向前冲 名言:我可以接受失败,但我不能接受放弃 如果觉的博主的文章还不错的话,还请点赞,收藏,关注👀支持博主。如果发现有问题的地方欢迎❀大家在评论区指正 目录 一、什么是控…