TDC上YARN Web-UI 查看application日志方法

方法一

image-20241012204422461

image-20241012204514581

#通过浏览器访问tdc,访问的工作节点对于TDC都是外部节点。在提交给yarn任务后,YarnRM的Web UI 可以展示yarnnm上运行的application日志,但是由于跳转的svc地址,无法直接访问。
#在tdc界面上找到yarn实例,进入yarn找到yarnhs服务的19888对应的nodeport端口

image-20241012204937741

#浏览器输入  ip:nodeport端口即可,即可自动跳转(类似于跳转到 http://172.18.132.44:30331/jobhistory)
#根据application_id找到对应job_id,即可查看日志
例如: yarnrm页面上的【application_1720516259117_0003】对应 jobhistory页面的【 job_1720516259117_0003】

image-20241012205757261

image-20241012205835973

方案二:通过VIP或Haproxy方案暴露Yarnnm服务,主机hosts强制跳转

通过vip或haproxy代理yarnnm的8042web端口
8042端口需要改成自定义端口进行配置,预定义端口没有

image-20241012212343177

image-20241012212400525

PS:haproxy工具暂不支持,但可以手动配置
找到yarnnm所在节点修改节点上/etc/haproxy/haproxy-hdfs.cfg,手动添加模板

image-20241012212456296

#修改完成后重启所有节点
kubectl -n kube-system get pod |grep haproxy-1.8 |awk '{print $1}' |xargs kubectl -n kube-system delete pod --force
浏览器访问节点hosts做svc和vip的映射
例如修改windows的C:\Windows\System32\drivers\etc\hosts
#格式为参照如下模板,可以替换下vip和install_id以及namespace
172.18.132.141 yarnnm-hmrh8-0.vnafeox.pod.transwarp.local. yarnnm-hmrh8-0.yarnnm-hmrh8.vnafeox.svc.transwarp.local. yarnnm-hmrh8-0.yarnnm-hmrh8.vnafeox.svc.transwarp.local
172.18.132.142 yarnnm-hmrh8-1.vnafeox.pod.transwarp.local. yarnnm-hmrh8-1.yarnnm-hmrh8.vnafeox.svc.transwarp.local. yarnnm-hmrh8-1.yarnnm-hmrh8.vnafeox.svc.transwarp.local
172.18.132.143 yarnnm-hmrh8-2.vnafeox.pod.transwarp.local. yarnnm-hmrh8-2.yarnnm-hmrh8.vnafeox.svc.transwarp.local. yarnnm-hmrh8-2.yarnnm-hmrh8.vnafeox.svc.transwarp.local

image-20241012212737766

在yarnrm的web-ui页面直接跳转访问
由于配置了hosts映射关系,浏览器可以直接访问yarnnm的svc:8042的url

直接跳转访问
由于配置了hosts映射关系,浏览器可以直接访问yarnnm的svc:8042的url


![image-20241012212830309](https://img-blog.csdnimg.cn/img_convert/ce2e60337abdec5f9b6d661b8d7df2c7.png)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/445800.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【MySQL】mysql导出数据WPS科学计数法解决方法

导出的长串数字 id 会导致科学计数法,修改 WPS 单元格格式可以解决 数字太长还是有问题,最后有个数字会变成 0 可以 直接用 python脚本转换一下 vim convert_txt_xlsx.py #!/usr/bin/env python3# 使用方法# 安装库 # pip3 install pandas openpyxl…

微信小程序后台搭建—node+mysql

想必大家都有一个困扰,想要用微信小程序作为前端,但是后端不知道如何用node连接微信小程序,我最近也一直困扰许久,所以我就想用node写后端接口在连接微信小程序,记录一下学习笔记 前言 前端:微信小程序 后端:nodeexpr…

MYSQL-windows安装配置两个或多个版本MYSQL

安装第一个mysql很简单,这里不再赘述。主要说说第二个怎么安装,服务怎么配置。 1. 从官网下载第二个MySQL并安装 一般都是免安装版了,下载解压到某个文件目录下(路径中尽量不要带空格或中文),再新建一个my.ini文件(或…

怎么看待数字化转型是大势所趋?

怎么看到数字化转型是大势所趋?下面我结合最新数据给大家讲明白这个事。 近日,我通过大量的数据相关性分析,有了一些关键发现。 【数字化转型】之所以势在必行,主要是因为数字化转型为各个国家数字经济发展提供了重要的参考依据。…

网络通信与并发编程(一)网络通信、osi五层模型、tcp协议的三次握手与四次挥手

网络通信、osi五层模型、tcp协议的三次握手与四次挥手 文章目录 网络通信、osi五层模型、tcp协议的三次握手与四次挥手一、网络通信二、osi五层模型1.物理层2.数据链路层3.网络层4.传输层5.应用层 三、tcp协议的三次握手与四次挥手 一、网络通信 网络通信是指在网络中的两个或…

cuda入门学习

最近接触cuda 编程,记录一下。 1 工作实现一个【0-100)的加法 如果用python sum 0 for i in range(200):sumi print(sum)2 cuda 的一些简单的概念 一维情况下大概是这样的 (1个grid * 2个blocks * 4个thread) 3 代码直接上代码 我把100分为20个b…

metahuman如何导入UE5

1.启动 通过EPIC启动UE5(UE5内置有Bridge, 但是UE4是需要单独下在Bridge软件) 2.打开Quixel Bridge 在window(窗口)中打开Quixel Bridge 3.Bridge界面 在弹出的Bridge界面选择模型 需要先下载,然后再导入 4.下载模型 点击需要的模型右上方的绿色箭头下载 5.下…

【论文#码率控制】ADAPTIVE RATE CONTROL FOR H.264

目录 摘要1.前言2.基本知识2.1 蛋鸡悖论2.2 基本单元的定义2.3 线性MAD预测模型 3.GOP级码率控制3.1 总比特数3.2 初始化量化参数 4.帧级码率控制4.1 非存储图像的量化参数4.2 存储图像的目标比特 5.基本单元级码率控制6.实验结果7.结论 《ADAPTIVE RATE CONTROL FOR H.264》 A…

OKHTTP 如何处理请求超时和重连机制

😄作者简介: 小曾同学.com,一个致力于测试开发的博主⛽️,主要职责:测试开发、CI/CD 如果文章知识点有错误的地方,还请大家指正,让我们一起学习,一起进步。 😊 座右铭:不…

【ELKB】Kibana使用

搭建好ELKB后访问地址:http://localhost:5601 输入账号密码登录以后 左侧导航有home、Analysis、Enterprise search 、Observability、Security、Management home:首页Analysis:工具来分析及可视化数据Enterprise search:企业级搜…

解读《ARM Cortex-M3 与Cortex-M4 权威指南》——第1章 ARM Cortex-M处理器简介

1. 三级流水线设计 解释:三级流水线设计意味着处理器在执行指令时可以同时处理多个步骤。这些步骤通常包括取指(Fetch)、译码(Decode)和执行(Execute)。好处:这种设计提高了指令的执行效率,使得处理器能够在每个时钟周期内完成更多的工作,从而提升整体性能。2. 哈佛总…

分享一些常用的数据库性能监测工具

以下是一些常用的数据库性能监测工具: 一、MySQL MySQL Enterprise Monitor: 由 MySQL 官方推出,提供全面的数据库性能监控、诊断和优化功能。可以监控数据库的各种指标,如查询性能、连接数、缓存命中率等,并提供警报…

yolo参数调节

1-weight 不同版本的神经网络 可以在这下载复制 2 source图片路径或者文件夹路径 3 img size 尺寸(尽量与神经网络模型匹配) 4 4 -conf-thres 简单理解就是模型识别成功概率超过这一标准才会显示 5 iou多区域重合 (重合比例)…

数学科普读物《从毕达哥拉斯到怀尔斯》

毕达哥拉斯是古希腊数学家,怀尔斯是英国数学家,曾任美国普林斯顿大学教授。这本书是哈工大出版社刘培杰先生主编的。这是一本500多页的书,我不禁慨叹高级数学爱好者刘培杰的博学广识,因为书中纵论古今旁征博引,仅书后的…

数据结构-5.6.二叉树的先,中,后序遍历

一.遍历: 二.二叉树的遍历:利用了递归操作 1.简介: 二叉树的先序遍历,中序遍历,后序遍历都是以根结点遍历顺序为准的,如先序遍历就先遍历根结点 2.实例: 例一: 例二: …

C++中string函数用法总结

一,string的构造函数 string() //无参构造,初始化为空串 string(const string& str) //用str拷贝构造 string(size_t n,char c) //用n个字符c初始化 string(const char* s,size_t n) //用字符串s的前n个字符初始化 string(const string& str…

【最优化方法】最速下降法

给出点 x [1,4,5,8,12] y [7,9,15,14,27] 要找出温度和冰淇淋销量之间的关系,通过线性回归来拟合求出属性和结果之间的线性关系。 如果直接把这些点连起来,是吃力不讨好的,因为如果有新数据进来大概率不在这条线上,这个行为也…

Prometheus + Grafana 监控 MySQL 数据库

文章目录 1、前置介绍2、搭建流程2.1、安装 Docker2.2、安装 MySQL2.3、安装 MySQL Exporter2.4、安装 Prometheus2.5、安装 Grafana 1、前置介绍 本次监控平台搭建,我使用2台阿里云服务器来完成本次的搭建部署操作,配置如下: 阿里云ECS1&am…

【Kubernets】配置类型资源 Etcd, Secret, ConfigMap

文章目录 所有资源概览Etcd详细说明一、基本概念二、主要功能三、架构与组件四、数据模型与操作五、安全与认证六、集群部署与管理 Secret详细说明一、Secret 的类型二、Secret 的创建三、Secret 的使用四、Secret 的更新与删除五、Secret 的安全性 ConfigMap详细说明一、Confi…

2024年恩施职称评前公示

此次公示共有422人,初级职称、中级职称、馆员、畜牧师、助理馆员、三级演员、农艺师等均在一起进行评审前的公示。 根据恩施州职称改革工作领导小组办公室《关于报送2024年度恩施州中初级专业技术职务评审材料的通知》(恩施州职改办〔2024〕14号&#xf…