Flink集群的搭建

1、Flink独立集群模式
        1、首先Flink的独立集群模式是不依赖于Hadoop集群。
        2、上传压缩包,配置环境:
1、解压:
tar -zxvf flink-1.15.2-bin-scala_2.12.tgz2、配置环境变量:vim /etc/profileexport FLINK_HOME=/usr/local/soft/flink-1.15.2
export PATH=$FLINK_HOME/bin:$PATH3、配置文件生效source /etc/profile
        3、修改配置文件 
# 1、进入flink配置文件所在的位置
cd /usr/local/soft/flink-1.15.2/conf# 1、修改flink-conf.yaml
vim flink-conf.yaml
# 修改配置
jobmanager.rpc.address: master    #jobmanager的地址,选择那台机器作主节点
jobmanager.bind-host: 0.0.0.0	  #0.0.0.0 表示的任何的节点都可以访问主节点taskmanager.bind-host: 0.0.0.0		
taskmanager.host: localhost		   #表示的是从节点的
taskmanager.numberOfTaskSlots: 1	#指定槽位的个数,用来执行Task任务rest.address: master
rest.bind-address: 0.0.0.0# 2、修改masters
vim masters
# 修改配置
master:8081# 3、修改workers
vim workers
# 修改配置
node1
node2
        4、分发到所有的服务器中:
scp -r flink-1.15.2/  node1:`pwd`
scp -r flink-1.15.2/  node2:`pwd`# 分发之后需要单独修改node1和node2中taskmanager.hosttaskmanager.host: node1
taskmanager.host: node2
        5、启动集群:
# 在master中执行启动命令
start-cluster.sh# web ui
http://master:8081# 关闭集群
stop-cluster.sh
        6、将任务提交到集群上的命令:
                1、将任务提交到集群上的第一种方式:
1、首先将代码上传到服务器中:flink-1.0.jar2、提交flink任务flink run -c 主类的名称 jar包的名称
                2、将任务提交到flink集群上的第二种方式:在flink的web界面手动提交任务

                             a、点击Submit New Job 

                               b、点击Add New,上传jar包

                                c、指定任务的主类名称、指定任务的并行度,提交任务

2、Flink ON Yarn模式
        1、就是将flink任务提交到yarn上运行,不过在使用on yarn模式的时候需要注意的是需要将Flink中的独立模式关闭,并启动Hadoop。
Flink的独立集群模式和ON Yarn的模式只能使用一种,所以需要将独立集群模式关闭,并开启Hadoop
stop-cluster.sh
start-all.sh
        2、配饰hadoop的hadoop classpath
# 修改/etc/profile
vim /etc/profile# 在最后增加配置文件
export HADOOP_CLASSPATH=`hadoop classpath`   #指的是获取Hadoop依赖包的路径并且这个配置文件必须放在配置文件的最后一行source /etc/profile
        3、Flink ON Yarn的三种模式:
                1、per job mode:

1、类似于Spark  on yarn的client的模式

2、如果出现错误,在本地是可以看见部分的错误

例如:在使用socket模拟实时的时候,突然关闭socket服务,此时错误的部分原因就会在客户端打印出来。

3、在本地执行main函数,构建的DataFlow图,再将DataFlow提交到JobManager上去运行

4、每一个Flink任务都是单独申请资源,启动一个JobManager和多个TaskManager,人物之间是不影响的。

提交任务:
flink run -t yarn-per-job -c 主类名 jar包的名称对于ONE Yarn中的流处理,因为是流处理,所以进程是不会自动的停止,关闭Yarn上面进程的指令:
yarn  application  -kill 进程号获取yarn中进程的logs日志的指令:yarn  logs -applicationID 进程号
                2、application mode:

1、相当于Spark on yarn 中的cluster模式

2、在本地是看不见错误的

因为此时的错误在Yarn上,可以通过查看yarn上的日志来找出错误获取yarn中进程的logs日志的指令:yarn  logs -applicationID 进程号也可以将日志写入到一个文件中,然后拉去到桌面上去查看:
yarn  logs -applicationID 进程号 >> 指定的文件

3、main函数是在JobManager中执行的,本地只需要负责提交任务

4、每一个Flink任务都是单独申请资源,启动一个JobManager和多个TaskManager,人物之间是不影响的。

5、可以用于生产环境

提交代码:
flink run-application -t yarn-application -c 主类名 jar包的名称
                3、session mode:

1、会现在yarn中申请一个资源启动JobManager,在来提交任务

2、提交任务会共用一个JobManager,动态的申请TaskManager,任务取消,TaskManager就会被释放。前面的两种模式都是一次只会服务一个任务,但是这个可以同时启动多个任务,此时就会产生一个问题,那就是如果其中某一个任务失败的化,那么后面的任务可能都会失败。

3、一般用于测试环境

1、启动session集群
yarn-session.sh -d2、提交任务
flink run -t yarn-session  -Dyarn.application.id= 进程号 -c 主类名  jar包名称

也可以使用Web来提交任务,功能与独立集群的模式基本一致,但是不同的是他是建立在Yarn的模式上。

4、模式的抉择:

        1、如果业务的要是是实时的业务,那么就选择独立集群模式,因为yarn是基于Hadoop,适合做离线的

        2、如果一直使用的Hadoop,但是想要结合Flink,可以选择 on yarn的模式。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/184762.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

基于机器学习的 ICU 脑血管疾病死亡风险智能预测系统

温馨提示:文末有 CSDN 平台官方提供的学长 Wechat / QQ 名片 :) 1. 项目简介 重症患者或重大手术后的患者在重症监护室(ICU)内通过多种生命支持系统以维持生理功能。患者在ICU 内会被频繁持续的记录生命体征和实验室测量等多种数据。由于高频…

SpringBoot系列之集成Redission入门与实践教程

Redisson是一款基于java开发的开源项目,提供了很多企业级实践,比如分布式锁、消息队列、异步执行等功能。本文基于Springboot2版本集成redisson-spring-boot-starter实现redisson的基本应用 软件环境: JDK 1.8 SpringBoot 2.2.1 Maven 3.2…

CATIA环境编辑器用不了时创建项目快捷方式

CATIA环境编辑器用不了时创建项目快捷方式 一、参考适用情况示例二、 解决步骤(一) 先正确放置winb_64部署包(二) 添加环境文件(三) 修改加入的环境文件(四) 复制本机CATIA快捷方式后重命名(五) 修改快捷方式目标的值 一、参考适用情况示例 二、 解决步骤 (一) 先正确放置winb…

一文掌握 Apache SkyWalking

Apache SkyWalking SkyWalking是一个开源可观测平台,用于收集、分析、聚合和可视化来自服务和云原生基础设施的数据。SkyWalking 提供了一种简单的方法来保持分布式系统的清晰视图,甚至跨云。它是一种现代APM,专为云原生、基于容器的分布式系…

几个月大的幼猫怎么喂?性价比高的幼猫主食罐头推荐

我这些年在经营宠物店的过程中发现,许多铲屎官在猫咪约2个月大时会选择带它们回家喂养。然而,他们可能不知道如何为这个阶段的幼猫提供适当的营养。实际上,幼猫所需的营养成分与成年猫相似,都是高蛋白、中高脂肪和低碳水。而且在这…

【JavaScript】window 对象、location 对象、navigator 对象和 history 对象

1. window 对象 BOM (Browser Object Model ) 是浏览器对象模型: window对象是一个全局对象,也可以说是JavaScript中的顶级对象像document、alert()、console.log()这些都是window的属性,基本BOM的属性和方法都是window的所有通过var定义在全…

AI+BI行业数字化转型研讨会 - 总结精华回顾

带您一起观看研讨会精彩内容回顾! || 导语 AIBI行业数字化转型研讨会—引领未来,智慧转型 德昂信息技术(北京)有限公司于2023年10月26日成功举办了AIBI行业数字化转型研讨会。此次盛会汇聚了产业精英、企业领袖以及技术专家,共同探讨在快速…

pycharm pro v2023.2.4(Python开发)

PyCharm是一种Python集成开发环境(IDE),PyCharm提供了强大的功能,包括语法突出显示、智能代码完成、代码检查、自动重构和调试等特性,这些都可以帮助Python开发人员更加高效地编写代码。 PyCharm Pro是PyCharm的高级版…

性能测试怎么入门?一文7个知识点带你成功入门!

一、相关概念 1、性能测试相关:负载测试,性能测试,压力测试,稳定性测试,全链路测试等 2、性能指标:吞吐率,tps,并发用户数,吞吐量,响应时间等 二、性能测试…

word办公小技巧:方框打勾、上下标、横隔线、排序

Word文件制作过程中,需要了解一些可以提高效率的小技巧帮助我们能够更快的完成工作,今天分享四个提高效率的小技巧 技巧一:方框内打√ 想要在word文件中设置出方框内√,的效果,在word文件中输入: ☑&…

cortex-A7核IIC实验--采集温湿度传感器的值

1.IIC总线---同步串行半双工 1)一根数据线SDA--PF15,一根时钟线SCL--PF14 2)传输速率:低速:100K 中速:400K 全速:3.4M 3)外接两个上拉电阻的作用:总线空闲状态时&am…

图神经网络(GNN)性能优化方案汇总,附37个配套算法模型和代码

图神经网络的表达能力对其性能和应用范围有着重要的影响,是GNN研究的核心问题和发展方向。增强表达能力是扩展GNN应用范围、提高性能的关键所在。 目前GNN的表达能力受特征表示和拓扑结构这两个因素的影响,其中GNN在学习和保持图拓扑方面的缺陷是限制表…

esxi 6.7下安装黑裙

esxi上创建一个黑裙系统的虚拟机,用来存资料 一、工具 硬件: 工控机:装有esxi6.7系统(192.168.100.2),配置:3865U,16G内存,120Gmsata120sata硬盘,6个网口 主…

JavaEE-博客系统3(功能设计)

本部分内容为:实现登录功能;强制要求用户登录;实现显示用户信息;退出登录;发布博客 该部分的后端代码如下: Overrideprotected void doPost(HttpServletRequest req, HttpServletResponse resp) throws Ser…

Harmony OS—UIAbility的使用

概述 UIAbility是一种包含用户界面的应用组件,主要用于和用户进行交互。UIAbility也是系统调度的单元,为应用提供窗口在其中绘制界面。一个应用可以有一个UIAbility,也可以有多个UIAbility,类似于Android 的 Activity&#xff0c…

微服务-grpc

微服务 一、微服务(microservices) 近几年,微服这个词闯入了我们的视线范围。在百度与谷歌中随便搜一搜也有几千万条的结果。那么,什么是微服务 呢?微服务的概念是怎么产生的呢? 我们就来了解一下Go语言与微服务的千丝…

ConcurrentHashMap 源码解析

目录 一. 前言 二. 源码解析 2.1. 类结构 2.2. 基本属性 2.3. 构造方法 2.4. 增加元素 2.4.1. initTable() 2.4.2. helpTransfer() 2.4.3. transfer() 2.4.4. treeifyBin() 2.4.5. addCount() 2.5. 获取元素 2.6. remove() & replace() 2.7. clear() 2.8. s…

Leetcode—2578.最小和分割【简单】

2023每日刷题&#xff08;二十三&#xff09; Leetcode—2578.最小和分割 实现代码 class Solution { public:int splitNum(int num) {vector<int> a;while(num) {a.push_back(num % 10);num / 10;}int n a.size();sort(a.begin(), a.begin() n);int num1 0;int num…

AI全栈大模型工程师(十九)Semantic Kernel

文章目录 Semantic KernelSK 的开发进展SK 的生态位SK 基础架构后记 Semantic Kernel 先比较下 Semantic Kernel 和 LangChain。 Semantic KernelLangChain出品公司微软LangChain AI支持语言Python、C#、Java、TypeScriptPython、TypeScript开源协议MITMIT被应用在Microsoft …

使用ffmpeg调用电脑自带的摄像头和扬声器录制音视频

1、打开cmd&#xff0c;执行chcp 65001,修改cmd的编码格式为utf8&#xff0c;避免乱码 2、执行指令ffmpeg -list_devices true -f dshow -i dummy,查看当前window的音频和视频名称 3、打开windows系统的"打开声音设置"–“麦克风隐私设置”–"允许应用访问你…