Jobs页面
Stage页面
- 显示额外的指标和摘要指标:
- 摘要指标(Summary Metrics)统计了所有完成的任务的执行行为,包括执行时间、GC时间、输入输出信息等,并提供了最小值(Min)、第25百分位数(P25)、中位数(P50)、第75百分位数(P75)和最大值(Max)的分布情况。
- 通过勾选“显示额外指标”(Show Additional Metrics)中的选项,可以查看到额外的详细信息。
-
数据倾斜问题诊断:
- 检查直方图数据中的Max指标栏,包括数据输入量、运行时间和GC等,与P50和P75的比较。
- 如果数据量和执行时间远大于平均值,可能存在数据倾斜问题。
-
Shuffle效率问题诊断:
- 通过勾选Show Additional Metrics选项,观察ShuffleReadBlockTime指标。
- 如果Task执行时间短,但ShuffleReadBlockTime较长,可能影响执行效率,甚至导致Shuffle Fetch Failed。
-
内存设置问题诊断:
- 通过GC Time与Duration的比值判断内存设置是否合理。
- 参考Peak Execution Memory(可能不完全准确)来分析内存使用的峰值。
使用Aggregated Metrics by Executor功能,对Task执行信息按Executor维度进行统计。
- 该统计功能允许按照Executor维度对任务执行信息进行聚合。
- 用户可以点击进行排序。
- 如果发现作业运行速度比之前慢了很多,并且已经排除了数据倾斜和内存设置不合理的问题,可以通过查看统计值中的Executor数量来确定是否由于资源较少导致运行时间延长。
Environment
- 显示了当前应用程序使用的Spark版本。
- 显示了所有的配置项。
- 日常使用中,可以通过这个页面来确认配置(例如内存设置等)是否正确或者符合预期。
- 该页面可用于查看和分析配置信息。
- 如果想确认自己的作业执行主类设置是否正确,有个sun.java.command:
Executors
- 可以查看整个应用程序级别的Executor维度的概览统计信息。
- 可以找到Driver以及Executor的日志链接。
- 通过Executor概览信息中的GC时间等信息,可以判断内存设置是否合理。
SQL
- 可以查看最近执行的SQL的详情。
- 包括SQL对应的Job链接。
- 包括SQL对应的执行图和执行计划。