【Hadoop】Apache Hadoop YARN

🦄 个人主页——🎐开着拖拉机回家_Linux,Java基础学习,大数据运维-CSDN博客 🎐✨🍁

感谢点赞和关注 ，每天进步一点点！加油！

目录

一、YARN概述

二、YARN基础架构

2.1 ResourceManager（RM）

2.1.1 Scheduler

2.1.2 ApplicationManager

2.2 ApplicationMaster（AM）

2.3 NodeManager（NM）

2.4 Container

三、YARN作业提交流程

四、YARN 常用命令和资源配置参数

4.1 Yarn常用命令

4.2 yarn-site.xml

一、YARN概述

Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的 资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

  • 资源管理系统：管理集群的cpu，内存，YARN没有管理磁盘，因为磁盘由HDFS管理 。
  • 调度平台：为来申请资源的应用合理分配资源
  • 通用性：支持各种计算框架，YARN不关心你干是干什么的，只关心你要的资源。

从上图中可以看出，集群最底层的是HDFS，在其之上的就是YARN层，而在YARN层上则是各种不同的计算框架。YARN资源调度不仅支持MapReduce，还支持其他很多框架,如 Hive 、Spark、Fink 等任务，且YARN能支持各种框架来读取HDFS上的数据。

二、YARN基础架构

2.1 ResourceManager（RM）

ResourceManager（RM）：RM是一个全局的资源管理器，负责整个系统的资源管理和分配。它主要由两个组件构成：调度器（Scheduler）和 应用程序管理器（Applications Manager，ASM）。

调度器根据容量、队列等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系统中的资源分配给各个正在运行的应用程序。调度器仅根据各个应用程序的资源需求进行资源分配，而资源分配单位用一个抽象概念“资源容器”（Resource Container，简称Container）表示，Container是一个动态资源分配单位，它将内存、CPU、磁盘、网络等资源封装在一起，从而限定每个任务使用的资源量。此外，Scheduler是一个可插拔的组件，用户可根据自己的需要设计新的调度器，YARN提供了多种直接可用的调度器，比如Fair Scheduler和Capacity Scheduler等。

2.1.1 Scheduler

Scheduler是一个可插拔的插件，负责各个运行中的应用的资源分配，受到资源容量，队列以及其他因素的影响。是一个纯粹的调度器，不负责应用程序的监控和状态追踪，不保证应用程序的失败或者硬件失败的情况对 TASK 重启，而是基于应用程序的资源需求执行其调度功能，使用了叫做资源 container 的概念，其中包括多种资源，比如，cpu，内存，磁盘，网络等。在 Hadoop 的 MapReduce 框架中主要有三种Scheduler：FIFO Scheduler，Capacity Scheduler 和 Fair Scheduler。

  • FIFO Scheduler：先进先出，不考虑作业优先级和范围，适合低负载集群。
  • Capacity Scheduler：将资源分为多个队列，允许共享集群，有保证每个队列最小资源的使用。
  • Fair Scheduler：公平的将资源分给应用的方式，使得所有应用在平均情况下随着时间得到相同的资源份额。

2.1.2 ApplicationManager

ApplicationManager 主要负责接收 job 的提交请求，为应用分配第一个Container 来运行 ApplicationMaster，还有就是负责监控 ApplicationMaster，在遇到失败时重启 ApplicationMaster 运行的 Container。

2.2 ApplicationMaster（AM）

ApplicationMaster（AM）：用户提交的每个应用程序均包含一个AM，主要功能包括：

  • 与ResourceManager调度器协商以获取资源（用Container表示）；
  • 将得到的任务进一步分配给内部的任务(资源的二次分配)；
  • 与NM通信以启动/停止任务；
  • 监控所有任务运行状态，并在任务运行失败时重新为任务申请资源以重启任务。

当一个 ApplicationMaster 启动后，会周期性的向 ResourceManager 发送心跳报告来确认其健康和所需的资源情况，在建好的需求模型中，ApplicationMaster 在发往 ResourceManager 中的心跳信息中封装偏好和限制，在随后的心跳中， ApplicationMaster 会对收到集群中特定节点上绑定了一定的资源的 Container 的租约，根据 ResourceManager 发来的 Container，ApplicationMaster 可以更新它的执行计划以适应资源不足或者过剩，Container 可以动态的分配和释放资源。

2.3 NodeManager（NM）

NodeManager（NM）：NM是每个节点上的资源和任务管理器，一方面，它会定时地向RM汇报本节点上的资源使用情况和各个Container的运行状态；另一方面，它接收并处理来自AM的Container启动/停止等各种请求。

NodeManager 是 yarn 节点的一个“工作进程”代理，管理 hadoop 集群中独立的计算节点，主要负责与 ResourceManager 通信，负责启动和管理应用程序的 container 的生命周期，监控它们的资源使用情况（ cpu 和内存），跟踪节点的监控状态，管理日志等。并报告给RM。

NodeManager 在启动时，NodeManager 向 ResourceManager 注册，然后发送心跳包来等待 ResourceManager 的指令，主要目的是管理 resourcemanager 分配给它的应用程序 container。NodeManager 只负责管理自身的 Container，它并不知道运行在它上面应用的信息。在运行期，通过 NodeManager 和 ResourceManager 协同工作，这些信息会不断被更新并保障整个集群发挥出最佳状态。

主要职责：
1、接收 ResourceManager 的请求，分配 Container 给应用的某个任务
2、和 ResourceManager 交换信息以确保整个集群平稳运行。ResourceManager 就是通过收集每个NodeManager的报告信息来追踪整个集群健康状态的，而 NodeManager 负责监控自身的健康状态。
3、管理每个 Container 的生命周期
4、管理每个节点上的日志
5、执行 Yarn 上面应用的一些额外的服务，比如 MapReduce 的 shuffle 过程。

2.4 Container

Container：Container是YARN中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU等，当AM向RM申请资源时，RM为AM返回的资源便是用Container表示。YARN会为每个任务分配一个Container，且该任务只能使用该Container中描述的资源。YARN仅支持CPU和内存两种资源，且使用了轻量级资源隔离机制Cgroups进行资源隔离。

YARN的资源管理和执行框架都是按主/从范例实现，节点管理器（NM）运行、监控每个节点并向集群的资源管理器(RM)报告资源的可用性状态，资源管理器最终为系统里所有应用分配资源。

特定应用的执行由ApplicationMaster控制，ApplicationMaster负责将一个应用分割成多个任务，并和资源管理器协调执行所需的资源，资源一旦分配好，ApplicationMaster就和节点管理器一起安排、执行、监控独立的应用任务。

三、YARN作业提交流程

1、客户端程序向 ResourceManager 提交应用并请求一个 ApplicationMaster 实例， ResourceManager 在应答中给出一个 applicationId 以及有助于客户端请求资源的资源容量信息。

2、ResourceManager 找到可以运行一个 Container 的 NodeManager，并在这个 Container 中启动 ApplicationMaster 实例。

Application Submission Context 发出响应，其中包含有：ApplicationId，用户名，队列以及其他启动 ApplicationMaster 的信息。

Container Launch Context（CLC）也会发给 ResourceManager，CLC提供了资源的需求，作业文件，安全令牌以及在节点启动 ApplicationMaster 所需要的其他信息。

当 ResourceManager 接收到客户端提交的上下文，就会给 ApplicationMaster 调度一个可用的 Container（通常称为container0）。然后ResourceManager就会联系 NodeManager 启动 ApplicationMaster，并建立 ApplicationMaster 的 RPC 端口和用于跟踪的 URL ，用来监控应用程序的状态。

3、ApplicationMaster 向 ResourceManager 进行注册，注册之后客户端就可以查询 ResourceManager 获得自己 ApplicationMaster 的详细信息，以后就可以和自己的 ApplicationMaster 直接交互了。在注册响应中，ResourceManager 会发送关于集群最大和最小容量信息。

4、ApplicationMaster根据resource-request协议向ResourceManager发送resource-request请求，ResourceManager会根据调度策略尽可能最优的为ApplicationMaster分配container资源，作为资源请求的应答发给ApplicationMaster。

5、当Container被成功分配之后，ApplicationMaster通过向NodeManager发送container-launch-specification信息来启动Container， container-launch-specification信息包含了能够让Container和ApplicationMaster交流所需要的资料，一旦container启动成功之后，ApplicationMaster就可以检查他们的状态，Resourcemanager不在参与程序的执行，只处理调度和监控其他资源，Resourcemanager可以命令NodeManager杀死container。

6、应用程序的代码在启动的Container中运行，并把运行的进度、状态等信息通过application-specific协议发送给ApplicationMaster，随着作业的执行，ApplicationMaster将心跳和进度信息发给ResourceManager，在这些心跳信息中，ApplicationMaster还可以请求和释放一些container。

7、在应用程序运行期间，提交应用的客户端主动和ApplicationMaster交流获得应用的运行状态、进度更新等信息，交流的协议也是application-specific协议。

8、一旦应用程序执行完成并且所有相关工作也已经完成，ApplicationMaster向ResourceManager取消注册然后关闭，用到所有的Container也归还给系统，当container被杀死或者回收，Resourcemanager就会通知NodeManager聚合日志并清理container专用的文件。

四、YARN 常用命令和资源配置参数

4.1 Yarn常用命令

列出所有的Application

yarn application -list

根据Application状态过滤任务

yarn application -list -appStates XXX（XXX - ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED）

任务状态

yarn application -status  application-id

杀死任务

yarn application -kill application-id

查询Application日志

yarn logs -applicationId <ApplicationId>

列出所有NM节点

打印队列信息

yarn queue -status kangll

YARN 任务在WEB页面上可以看资源使用和运行情况，ResourceManager IP:8088

如下也可以看到各个NM上的内存和 CPU核数使用情况

4.2 yarn-site.xml

如下是常用的的YARN资源配置参数

<configuration  xmlns:xi="http://www.w3.org/2001/XInclude"><!-- AppMaster重试次数 --><property><name>yarn.resourcemanager.am.max-attempts</name><value>2</value></property><!-- 容量调度 --><property><name>yarn.resourcemanager.scheduler.class</name><value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value></property><!-- 容器最大内存 --><property><name>yarn.scheduler.maximum-allocation-mb</name><value>20480</value></property><!-- 容器最大CPU核数 --><property><name>yarn.scheduler.maximum-allocation-vcores</name><value>16</value></property><!-- 容器最小内存 --><property><name>yarn.scheduler.minimum-allocation-mb</name><value>512</value></property><!-- 容器最小CPU核数 --><property><name>yarn.scheduler.minimum-allocation-vcores</name><value>1</value></property><!-- nodemanager CPU核数 --><property><name>yarn.nodemanager.resource.cpu-vcores</name><value>16</value></property><!--  nodemanager 内存--><property><name>yarn.nodemanager.resource.memory-mb</name><value>20480</value></property><!-- nodemanager CPU使用限制 --><property><name>yarn.nodemanager.resource.percentage-physical-cpu-limit</name><value>80</value></property></configuration>

参考链接：

百度安全验证

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/181226.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

[100天算法】-有序矩阵中第K小的元素（day 58）

[100天算法】-有序矩阵中第K小的元素（day 58）

题目描述 给定一个 n x n 矩阵&#xff0c;其中每行和每列元素均按升序排序&#xff0c;找到矩阵中第 k 小的元素。 请注意&#xff0c;它是排序后的第 k 小元素&#xff0c;而不是第 k 个不同的元素。示例&#xff1a;matrix [[ 1, 5, 9],[10, 11, 13],[12, 13, 15] ], k …
阅读更多...
基础知识：位运算

基础知识：位运算

基础知识&#xff1a;位运算 1. 两类表达式 1. 两类表达式
阅读更多...
展开一个结构加法等式

展开一个结构加法等式

4a6 4a8 - - - - - 1 - 1 - - - 1 - 1 - - 1 - - 1 - - 1 - - 1 - - - - 在5-1的方向上具体展开4a64a8 25 19 19 19 19 19 19 19 25 19 19 19 19 19 19 19 1 10 10 10 10 10 10 10 1 10 10 10 10 10 10 10 …
阅读更多...
全网最详细的【shell脚本的入门】

全网最详细的【shell脚本的入门】

&#x1f3c5;我是默&#xff0c;一个在CSDN分享笔记的博主。&#x1f4da;&#x1f4da; ​ &#x1f31f;在这里&#xff0c;我要推荐给大家我的专栏《Linux》。&#x1f3af;&#x1f3af; &#x1f680;无论你是编程小白&#xff0c;还是有一定基础的程序员&#xff0c;这…
阅读更多...
蓝桥杯每日一题2023.11.5

蓝桥杯每日一题2023.11.5

题目描述 方格分割 - 蓝桥云课 (lanqiao.cn) 题目分析 对于每个图我们可以从中间开始搜索&#xff0c;如果到达边界点就说明找到了一种对称的方法&#xff0c;我们可以直接对此进行答案记录每次进行回溯就会找到不同的图像&#xff0c;如果是一样的图像则算一种情况&#xff…
阅读更多...
初识Vue 输出Hello World 及注意事项

初识Vue 输出Hello World 及注意事项

在我们还没接触Vue之前&#xff0c;我同学常说我可以直接在元素里输出JS的表达式吗&#xff1f;肯定是不太行。当我们接触vue.js后&#xff0c;这个想法成了现实。 每当我们学习一门新的语言或者框架时&#xff0c;我们都习惯打印一个“hello world”&#xff0c;在我们vue当中…
阅读更多...
Docker 安装ELK7.7.1

Docker 安装ELK7.7.1

(注&#xff1a;在安装之前&#xff0c;本方法必须安装jdk1.8以上版本) (注&#xff1a;如果在虚拟机下用可以直接按方法走即可&#xff0c;如果是想进行备份后在别的机器上进行相关操作&#xff0c;必须把所有带有172.17.0.6、192.168.8.166:9200和端口号都改成你自己的方可使…
阅读更多...
使用 curator 连接 zookeeper 集群 Invalid config event received

使用 curator 连接 zookeeper 集群 Invalid config event received

dubbo整合zookeeper 如图&#xff0c;错误日志 2023-11-04 21:16:18.699 ERROR 7459 [main-EventThread] org.apache.curator.framework.imps.EnsembleTracker Caller0 at org.apache.curator.framework.imps.EnsembleTracker.processConfigData(EnsembleTracker.java…
阅读更多...
MTK联发科、高通、紫光展锐手机SOC平台型号汇总（含详细参数）

MTK联发科、高通、紫光展锐手机SOC平台型号汇总（含详细参数）

MediaTek联发科手机平台汇总&#xff1a; Qualcomm高通SOC平台汇总&#xff1a; 紫光展锐SOC平台汇总&#xff1a; 新移科技已成功研发手机SOC平台&#xff1a; 联发科平台&#xff1a; MTK6739、MTK6761、MTK6762、MTK6765、MTK8788、MTK6853、MTK6873、MTK6833、MTK6877、…
阅读更多...
试试流量回放，不用人工写自动化测试case了

试试流量回放，不用人工写自动化测试case了

大家好&#xff0c;我是洋子&#xff0c;接触过接口自动化测试的同学都知道&#xff0c;我们一般要基于某种自动化测试框架&#xff0c;编写自动化case&#xff0c;编写自动化case的依据来源于接口文档&#xff0c;对照接口文档里面的请求参数进行人工添加接口自动化case 其实…
阅读更多...
DB-GPT介绍

DB-GPT介绍

DB-GPT介绍 引言DB-GPT项目简介DB-GPT架构关键特性私域问答&数据处理多数据源&可视化自动化微调Multi-Agents&Plugins多模型支持与管理隐私安全支持数据源 子模块DB-GPT-Hub微调参考文献 引言 随着数据量的不断增长和数据分析的需求日益增多&#xff0c;将自然语言…
阅读更多...
Git（七）.git 文件夹瘦身，GitLab 永久删除文件

Git（七）.git 文件夹瘦身，GitLab 永久删除文件

目录 一、问题背景二、问题复现2.1 新建项目2.2 上传大文件2.3 上传结果 三、解决方案3.1 GitLab备份与还原1&#xff09;备份2&#xff09;还原 3.2 删除方式一&#xff1a;git filter-repo 命令【推荐】1&#xff09;安装2&#xff09;删除本地仓库文件3&#xff09;重新关联…
阅读更多...
3款免费又好用的 Docker 可视化管理工具

3款免费又好用的 Docker 可视化管理工具

前言 Docker提供了命令行工具&#xff08;Docker CLI&#xff09;来管理Docker容器、镜像、网络和数据卷等Docker组件。我们也可以使用可视化管理工具来更方便地查看和管理Docker容器、镜像、网络和数据卷等Docker组件。今天我们来介绍3款免费且好用的 Docker 可视化管理工具。…
阅读更多...
构建mono-repo风格的脚手架库

构建mono-repo风格的脚手架库

前段时间阅读了 https://juejin.cn/post/7260144602471776311#heading-25 这篇文章&#xff1b;本文做一个梳理和笔记&#xff1b; 主要聚焦的知识点如下&#xff1a; 如何搭建脚手架工程如何开发调试如何处理命令行参数如何实现用户交互如何拷贝文件夹或文件如何动态生成文件…
阅读更多...
贰[2]，OpenCV函数解析

贰[2]，OpenCV函数解析

1&#xff0c;imread&#xff1a;图片读取 CV_EXPORTS_W Mat imread( const String& filename, int flags IMREAD_COLOR );//参数1(filename)&#xff1a;文件地址 //参数2(flags):读取标志 注:ImreadModes&#xff0c;参数2(flags)枚举定义 enum ImreadModes { IMREAD…
阅读更多...
分享68个工作总结PPT，总有一款适合您

分享68个工作总结PPT，总有一款适合您

分享68个工作总结PPT&#xff0c;总有一款适合您 PPT下载链接&#xff1a;https://pan.baidu.com/s/1juus0gmesBFxJ-5KZgSMdQ?pwd8888 提取码&#xff1a;8888 Python采集代码下载链接&#xff1a;采集代码.zip - 蓝奏云 学习知识费力气&#xff0c;收集整理更不易。知识付…
阅读更多...
【Unity】2D角色跳跃控制器

【Unity】2D角色跳跃控制器

最近加了学校的Nova独游社&#xff0c;本文是社团出的二面题&#xff0c;后续有时间优化下可能会做成一个二维冒险小游戏。本文主要涉及相关代码&#xff0c;参考教程&#xff1a;《勇士传说》横版动作类游戏开发教程 效果演示 【Unity】2D角色跳跃模拟器 主要实现功能&#xf…
阅读更多...
AI：53-基于机器学习的字母识别

AI：53-基于机器学习的字母识别

🚀 本文选自专栏：AI领域专栏 从基础到实践，深入了解算法、案例和最新趋势。无论你是初学者还是经验丰富的数据科学家，通过案例和项目实践，掌握核心概念和实用技能。每篇案例都包含代码实例，详细讲解供大家学习。 📌📌📌本专栏包含以下学习方向： 机器学习、深度学…
阅读更多...
前端框架Vue学习 ——（二）Vue常用指令

前端框架Vue学习 ——（二）Vue常用指令

文章目录 常用指令 常用指令 指令: HTML 标签上带有 “v-” 前缀的特殊属性&#xff0c;不同指令具有不同含义。例如: v-if, v-for… 常用指令&#xff1a; v-bind&#xff1a;为 HTML 标签绑定属性值&#xff0c;如设置 href&#xff0c;css 样式等 <a v-bind:href"…
阅读更多...
【四、http】go的http的文件下载

【四、http】go的http的文件下载

一、日常下载图片到本地 //下载文件func downloadfile(url, filename string) {r, err : http.Get(url)if err ! nil {fmt.Println("err", err.Error())}defer r.Body.Close()f, err : os.Create(filename)if err ! nil {fmt.Println("err", err.Error())…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023