Flink History Server配置

目录

问题复现

History Server配置

HADOOP_CLASSPATH配置

History Server配置

问题修复

启动flink集群

启动Histroty Server


问题复现

在bigdata111上执行如下命令开启socket:

nc -lk 9999

 如图:

在bigdata111上执行如下命令运行flink应用程序 

flink run -c com.leboop.SocketStreamingWordCount /root/jars/flink-1.0-SNAPSHOT.jar --host bigdata111 --port 9999

 运行成功后,登录http://bigdata111:8081/#/overview

 打开flink web ui页面,如图:

此时点击Cancel Job取消任务,如图:

 可以在Completed Job List中看到刚刚被取消的任务,如图:

 此时重启flink集群,如图:

 再次登录flink web ui,如图:

刚被取消的任务已经不显示。 重启集群后不显示历史任务。


History Server配置

        集群现有的角色分布如下:

IP地址主机名称Flink角色
192.168.128.111bigdata111master
192.168.128.112bigdata112worker
192.168.128.113bigdata113worker

可以选择任意一条服务器作为History Server节点,这里选择bigdata112作为History Server节点。

HADOOP_CLASSPATH配置

在三台服务器上配置HADOOP_CLASSPATH,配置步骤如下:

执行如下命令,打开配置文件:

vi /etc/profile

在文件末尾添加如下配置内容:

# historyserver
export HADOOP_CLASSPATH=`hadoop classpath`

 执行如下命令,生效配置文件:

source /etc/profile

如图: 

History Server配置

        三台服务器上同时配置。执行如下命令,打开bigdata111服务器flink安装目录下的flink-conf.yaml配置文件

vi /opt/flink-1.9.3/conf/flink-conf.yaml

 默认配置如下:

改为如下配置:

#==============================================================================
# HistoryServer
#==============================================================================# The HistoryServer is started and stopped via bin/historyserver.sh (start|stop)# Directory to upload completed jobs to. Add this directory to the list of
# monitored directories of the HistoryServer as well (see below).
jobmanager.archive.fs.dir: hdfs:///flink-cluster/standalone/completed-jobs/# The address under which the web-based HistoryServer listens.
historyserver.web.address: bigdata112# The port under which the web-based HistoryServer listens.
historyserver.web.port: 8082# Comma separated list of directories to monitor for completed jobs.
historyserver.archive.fs.dir: hdfs:///flink-cluster/standalone/completed-jobs/# Interval in milliseconds for refreshing the monitored directories.
historyserver.archive.fs.refresh-interval: 10000

 将配置好flink-conf.yaml复制到其它节点(bigdata112、bigdata113),命令如下:

scp -r flink-conf.yaml bigdata112:`pwd`
scp -r flink-conf.yaml bigdata113:`pwd`

问题修复

启动flink集群

        执行start-cluster.sh启动flink集群,如图:

启动成功后,JobManager和TaskManager进程如图: 

启动Histroty Server

        在bigdata112上,执行如下命令启动historyserver

historyserver.sh start

启动成功后,如图: 

登录如下地址,访问history server的web ui页面

http://bigdata112:8082/#/overview

如图:

暂时什么还没有。在bigdata111上打开socket,并运行flink应用程序,如图:

此时在hdfs上并未创建存储已完成Job数据的目录( hdfs:///flink-cluster/standalone/completed-jobs/),如图:

同样History Server web ui页面也不显示job信息。可以在JobManager web ui界面看到运行的任务,如图:

 现在取消任务,任务取消后,在HDFS上生成存储已完成Job的数据目录,如图:

同时在History Server web ui已完成Job列表中会显示该作业,如图:

现在重启flink集群和History Server,如图:

重启以后在History Server  web ui页面会显示该Job(JobManager Server依然不显示)。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/380871.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Java】用队列实现栈 力扣

文章目录 题目链接题目描述思路代码 题目链接 225.用队列实现栈 题目描述 思路 一个队列在模拟栈弹出元素的时候只要将队列头部的元素(除了最后一个元素外) 重新添加到队列尾部,此时再去弹出元素就是栈的顺序了。 代码 class MyStack {Q…

用EXCEL和python 计算马尔可夫链转移矩阵

目录 目标:用EXCEL和python 计算马尔可夫链转移矩阵 1 用EXCEL计算 1.1 马尔可夫链的基本应用 1.2 具体计算 2 用python计算马尔可夫转移矩阵 2.1 py代码 2.2 运行结果 3 上面2者计算结果相同 目标:用EXCEL和python 计算马尔可夫链转移矩阵 1 用…

神经网络模型实现(训练、测试)

目录 一、神经网络骨架:二、卷积操作:三、卷积层:四、池化层:五、激活函数(以ReLU为例):六、模型搭建:七、损失函数、梯度下降:八、模型保存与加载:九、模型训…

Leetcode2160. 拆分数位后四位数字的最小和:

问题描述: 给你一个四位 正 整数 num 。请你使用 num 中的 数位 ,将 num 拆成两个新的整数 new1 和 new2 。new1 和 new2 中可以有 前导 0 ,且 num 中 所有 数位都必须使用。 比方说,给你 num 2932 ,你拥有的数位包括…

AP ERP与汉得SRM系统集成案例(制药行业)

一、项目环境 江西某医药集团公司,是一家以医药产业为主营、资本经营为平台的大型民营企业集团。公司成立迄今,企业经营一直呈现稳健、快速发展的态势, 2008 年排名中国医药百强企业前 20 强,2009年集团总销售额约38亿元人民币…

(秋招复习)自动驾驶与机器人中的SLAM技术(一)

秋招复习之--自动驾驶与机器人中的SLAM技术1 前言第一章 自动驾驶基础知识第二章 基础数学知识回顾旋转的表示SO(3)的BCH近似运动学表示线速度与加速度的处理一些常见的雅可比滤波器和最优化理论 第三章 惯性导航与组合导航IMU系统运动学IMU航迹推算卫星导航基于ESKF的简单组合…

PostgreSQL的引号、数据类型转换和数据类型

一、单引号和双引号(重要): 1、在mysql没啥区别 2、在pgsql中,实际字符串用单引号,双引号相当于mysql的,用来包含关键字; -- 单引号,表示user_name的字符串实际值 insert into t_user(user_nam…

【springboot】中使用--WebMvcConfigurer

WebMvcConfigurer 一、页面跳转控制器step1:创建视图,resources/templates/index.htmlstep2:创建SpringMVC配置类step3:测试功能 二、数据格式化step1:创建 DeviceInfo 数据类step2:自定义 Formatterstep3: 登记自定义的 DeviceFormatterstep4: 新建 Con…

Linux epoll 机制——原理图解与源码实现分析

epoll概述 epoll是Linux内核为处理大批量文件描述符而作了改进的poll,它能显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率。 epoll可以理解为event poll,它是一种事件驱动的I/O模型,可以用来替代传统的select和poll模型…

数据结构 - 栈(精简介绍)

文章目录 普通栈Stack用法Q 最长有效括号 单调栈Q 接雨水 普通栈 栈就是一个先进后出的结构 想象一个容器,往里面一层一层放东西,最早放进去的东西被压在下面(所以放元素也叫压栈),要拿到这个最低层的东西需要先把上面…

Puromycin(嘌呤霉素)— pac基因筛选抗生素

Puromycin是由Streptomyces alboniger(白黑链霉菌)产生的一种氨基糖苷类抗生素,可抑制原核细胞和真核细胞的肽基转移。Puromycin可抑制革兰氏阳性菌、多种动物细胞和昆虫细胞的生长,但是真菌和革兰氏阴性菌对Puromycin具有抗性&am…

CCF-Csp算法能力认证, 202312-2因子化简含解析

CCF-Csp算法能力认证, 202312-1仓库规划含解析 前言 推荐书目,在这里推荐那一本《算法笔记》(胡明),需要PDF的话,链接如下 「链接:https://pan.xunlei.com/s/VNvz4BUFYqnx8kJ4BI4v1ywPA1?…

SCI一区级 | Matlab实现SSA-CNN-GRU-Multihead-Attention多变量时间序列预测

目录 效果一览基本介绍程序设计参考资料 效果一览 基本介绍 1.【SCI一区级】Matlab实现SSA-CNN-GRU-Multihead-Attention麻雀算法优化卷积门控循环单元融合多头注意力机制多变量时间序列预测,要求Matlab2023版以上; 2.输入多个特征,输出单个…

手机如何播放电脑的声音?

准备工具: 有线耳机,手机,电脑,远控软件 1.有线耳机插电脑上 2.电脑安装pc版远控软件,手机安装手机端控制版远控软件 3.手机控制电脑开启声音控制 用手机控制电脑后,打开声音控制,电脑播放视频…

Qt 使用Installer Framework制作安装包

Qt 使用Installer Framework制作安装包 引言一、下载安装 Qt Installer Framework二、简单使用2.1 创建目录结构 (文件夹结构)2.2 制作程序压缩包2.3 制作程序安装包 引言 Qt Installer Framework (安装程序框架)是一个强大的工具集,用于创建自定义的在线和离线安装…

JVM--HostSpot算法细节实现

1.根节点枚举 定义: 我们以可达性分析算法中从GC Roots 集合找引用链这个操作作为介绍虚拟机高效实现的第一个例 子。固定可作为GC Roots 的节点主要在全局性的引用(例如常量或类静态属性)与执行上下文(例如 栈帧中的本地变量表&a…

SVN与Git功能差异对比分析

最近在调研学习Git管理和分支模型相关内容,外延到了SVN和Git差异、工作原理等相关细节,学习整理如下。 SVN(Subversion)与 Git 的最大不同,主要包括以下几个方面: 交流探讨,加入群聊【Java学习…

Docker搭建本地私有仓库

目录 1.下载运行registry 镜像 2.添加私有镜像仓库地址 3.为镜像添加标签 4.上传到私有仓库 5.查看私有仓库的所有镜像 6.测试私有仓库下载 1.下载运行registry 镜像 docker pull registry docker run -d -v /data/registry:/var/lib/registry -p 5000:5000 --restartal…

通过vue3 + TypeScript + uniapp + uni-ui 实现下拉刷新和加载更多的功能

效果图: 核心代码: <script lang="ts" setup>import { ref, reactive } from vue;import api from @/request/api.jsimport empty from @/component/empty.vueimport { onLoad,onShow, onPullDownRefresh, onReachBottom } from @dcloudio/uni-applet form …

消费金融系统开发回忆录

架构设计图 整个支付链路上的功能 支付系统应该有&#xff1a;账户管理、渠道管理、支付管理、对账管理、清算管理、结算管理 一笔支付订单&#xff0c;在支付系统侧就是要记录清楚&#xff0c;谁发起的、对哪个商品进行支付、通过哪个渠道支付、支付时间、支付结果等…