【快捷部署】002_Flink(1.17.2)

📣【快捷部署系列】002期信息

编号选型版本操作系统部署形式部署模式
002Flink1.17.2CentOS 7.Xtgz包单机

👉 演示视频


Flink一键安装(本地模式)


install-flink.sh 脚本内容

#!/bin/bash
####变量
###执行脚本的当前目录
mydir=$(cd "$(dirname "$0")";pwd)
echo $mydir
#flink安装目录
flink=/flink
#检查点目录
cp=$flink/checkpoints/
#保留点目录
sp=$flink/savepoints/
#tasknumber数量
tasknumber=5
#配置检查点的间隔时间
eci=5
#配置最大并发的检查点数量
ecm=2
#配置保留点的间隔时间
esi=11
#重新启动任务的最大次数
rfa=10000
#重新启动任务之前等待的时间间隔
rfd=1#########################################################################################flink安装目录
mkdir -p $flink
#检查点目录
mkdir -p $cp
#保留点目录
mkdir -p $sp#安装openjdk-1.8
yum install -y java-1.8.0-openjdk-1.8.0.392.b08-2.el7_9.x86_64##下载flink安装包并解压
wget https://repo.huaweicloud.com/apache/flink/flink-1.17.2/flink-1.17.2-bin-scala_2.12.tgz -P $flink
tar -xvf $flink/flink-1.17.2-bin-scala_2.12.tgz -C $flink
#编辑flink配置文件
sed -i -e 's|taskmanager.numberOfTaskSlots:.*|taskmanager.numberOfTaskSlots: '$tasknumber'|g' $flink/flink-1.17.2/conf/flink-conf.yaml
sed -i -e 's|rest.bind-address:.*|rest.bind-address: 0.0.0.0|g' $flink/flink-1.17.2/conf/flink-conf.yaml
sed -i -e '$a #配置检查点目 \nstate.checkpoints.dir: file://'$cp' \n# 配置检查点的间隔时间 \nexecution.checkpointing.interval: '$eci' s \n#配置最大并发的检查点数量 \nexecution.checkpointing.max-concurrent-checkpoints: '$ecm' \n#保留checkpoint数据 \nexecution.checkpointing.externalized-checkpoint-retention: RETAIN_ON_CANCELLATION \n# 配置保存点目录 \nstate.savepoints.dir: file://'$sp' \nexecution.savepoints.interval: '$esi' s \n# 自定义重启策略和故障恢复策略, \nrestart-strategy.fixed-delay.attempts: '$rfa' \nrestart-strategy.fixed-delay.delay: '$rfd' s' $flink/flink-1.17.2/conf/flink-conf.yaml#下载依赖包
#进入flink安装目录,下载jar包到flink的lib目录下
cd $flink/flink-1.17.2/lib
wget https://maven.aliyun.com/repository/public/com/ververica/flink-sql-connector-mysql-cdc/2.4.0/flink-sql-connector-mysql-cdc-2.4.0.jar
wget https://maven.aliyun.com/repository/public/org/apache/flink/flink-shaded-zookeeper-3/3.4.14-11.0/flink-shaded-zookeeper-3-3.4.14-11.0.jar 
wget https://maven.aliyun.com/repository/public/org/apache/flink/flink-sql-connector-hbase-2.2/1.17.2/flink-sql-connector-hbase-2.2-1.17.2.jar
wget https://maven.aliyun.com/repository/public/org/apache/flink/flink-shaded-hadoop-2-uber/2.7.5-10.0/flink-shaded-hadoop-2-uber-2.7.5-10.0.jar
wget https://maven.aliyun.com/repository/public/com/huaweicloud/dws/dws-connector-flink_2.12_1.15/1.0.10/dws-connector-flink_2.12_1.15-1.0.10-jar-with-dependencies.jar
wget https://maven.aliyun.com/repository/public/com/ververica/flink-sql-connector-mongodb-cdc/3.0.0/flink-sql-connector-mongodb-cdc-3.0.0.jar
wget https://maven.aliyun.com/repository/public/org/apache/doris/flink-doris-connector-1.17/1.4.0/flink-doris-connector-1.17-1.4.0.jar
#修改config.sh的Java路径
sed -i -e 's|JAVA_RUN="$JAVA_HOME"/bin/java|JAVA_RUN="$JAVA_HOME"/jre/bin/java|g' $flink/flink-1.17.2/bin/config.sh
#启动flink任务
$flink/flink-1.17.2/bin/start-cluster.sh 
###### 登录UI界面:http://eip:端口(默认端口8081)
$ vim install-flink.sh
# 进入vim,输入i,进入编辑模式,copy上方脚本,Esc --> 输入“:wq!”
$ chmod +x install-flink.sh
$ ./install-flink.sh

验证:

安装成功后,访问:http://eip:8081


# 执行测试job,查看效果
$ cd /flink/flink-1.17.2
$ ./bin/flink run examples/streaming/WordCount.jar
# 执行后,去WEB UI界面查看效果
# 感谢淘客科技提供的实验资源环境

flink.png


官方中文文档地址:https://nightlies.apache.org/flink/flink-docs-release-1.17/zh/docs/try-flink/local_installation/


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/276894.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

使用IDEA2023创建传统的JavaWeb项目并运行与调试

日期:2024-0312 作者:dusuanyun 文档环境说明: OS:Deepin 20.9(Linux) JDK: OpenJDK21 Tomcat:10.1.19 IDEA: 2023.3.4 (Ultimate Edition) 本文档默认已经安装JDK及环境变量的配置。 关键词…

景联文科技:提供通用多模态数据,助力AI多模态领域实现飞跃式发展

回顾2023年,以ChatGPT为代表的通用人工智能大模型在全球范围内掀起了新一轮人工智能产业发展浪潮,我国人工智能大模型市场呈现百“模”争鸣、日新月异的迅猛发展态势。 根据大模型之家、钛媒体数据,2023年中国大模型市场规模达到147亿人民币&…

几何造型库 - osgModeling

基于osg的几何造型库(osgModeling-0.1.1)的编译成果和示例: basic: boolean: bsp-tree:

bash: mysqldump: command not found

问题:在linux上执行mysql备份的时候,出现此异常 mysqldump命令找不到 解决: 1、找到mysql目录(找到mysql可执行命令目录) which mysql 有图可知,mysql安装在: /usr1/local/java/mysql 2、my…

Seata 2.x 系列【11】多数据源分布式事务

有道无术,术尚可求,有术无道,止于术。 本系列Seata 版本 2.0.0 本系列Spring Boot 版本 3.2.0 本系列Spring Cloud 版本 2023.0.0 源码地址:https://gitee.com/pearl-organization/study-seata-demo 文章目录 1. 概述2. 多数据…

linux下重启ORACLE

切换到oracle用户 su - oracle 登录oracle sqlplus / as sysdba 启动数据库 startup 退出数据库 exit 启动监听 lsnrctl start FINISH

老电脑装什么系统流畅

对于一些老旧电脑来说,重装系统是提升电脑性能的最佳选择。那么,老电脑装什么系统流畅呢?推荐Windows 7系统,它对硬件的需求相对较低。配置较低的电脑运行Windows 7可以更好地利用系统资源,提高电脑的运行速度和响应能…

57、服务攻防——应用协议RsyncSSHRDP漏洞批扫口令猜解

文章目录 口令猜解——Hydra-FTP&RDP&SSH配置不当——未授权访问—Rsync文件备份协议漏洞——应用软件-FTP&Proftpd搭建 口令猜解——Hydra-FTP&RDP&SSH FTP:文本传输协议,端口21;RDP:windows上远程终端协议…

WRF模型运行教程(ububtu系统)--III.运行WRF模型(官网案例)

零、创建DATA目录 # 1.创建一个DATA目录用于存放数据(一般为fnl数据,放在Build_WRF目录下)。 mkdir DATA # 2.进入 DATA cd DATA 一、WPS预处理 在模拟之前先确定模拟域(即模拟范围),并进行数据预处理&#xff08…

【计算机网络】UDP/TCP 协议

TCP 协议 一、传输层1. 再谈端口号2. 端口号范围划分3. 进程和端口号4. netstat5. pidof 二、UDP 协议1. UDP 协议端格式(报文)2. UDP 的特点3. 面向数据报4. UDP 的缓冲区 三、TCP 协议1. 认识 TCP2. TCP 协议段格式(1)4 位首部长度(2&#…

论文阅读:Editing Large Language Models: Problems, Methods, and Opportunities

Editing Large Language Models: Problems, Methods, and Opportunities 论文链接 代码链接 摘要 由于大语言模型(LLM)中可能存在一些过时的、不适当的和错误的信息,所以有必要纠正模型中的相关信息。如何高效地修改模型中的相关信息而不影…

MySQL--深入理解MVCC机制原理

什么是MVCC? MVCC全称 Multi-Version Concurrency Control,即多版本并发控制,维持一个数据的多个版本,主要是为了提升数据库的并发访问性能,用更高性能的方式去处理数据库读写冲突问题,实现无锁并发。 什…

Mac上使用M1或M2芯片的设备安装Node.js时遇到一些问题,比如卡顿或性能问题

对于Mac上使用M1或M2芯片的设备可能会遇到在安装Node.js时遇到一些问题,比如卡顿或性能问题。这可能是因为某些软件包或工具在M1或M2芯片上的兼容性不佳。为了解决这个问题,您可以尝试以下方法: 1. 使用Rosetta模式 对于一些尚未适配M1或M2…

AI智能分析网关V4将HTTP消息推送至安防监控视频汇聚EasyCVR平台的操作步骤

TSINGSEE青犀视频智能分析网关V4内置了近40种AI算法模型,支持对接入的视频图像进行人、车、物、行为等实时检测分析,上报识别结果,并能进行语音告警播放。硬件管理平台支持RTSP、GB28181协议、以及厂家私有协议接入,可兼容市面上常…

接口测试和功能测试有什么区别

本文主要分为两个部分: 第一部分:主要从问题出发,引入接口测试的相关内容并与前端测试进行简单对比,总结两者之前的区别与联系。但该部分只交代了怎么做和如何做?并没有解释为什么要做? 第二部分&#xff1…

webpack5零基础入门-8清空前次打包文件与处理图标字体资源

1.配置output中的clean属性为true output: {/**文件输出路径 绝对路径*///__dirname 表示当前文件的文件夹目录path: path.resolve(__dirname, dist),//所有文件的输出目录/**文件名 */filename: static/js/dist.js,//入口文件输出文件名clean: true,//在打包前将path整个目录内…

唯众物联网+地理科学交付云南师范大学地理学部教学实验室项目

近日,云南师范大学地理学部教学实验室建设项目顺利交付。该项目的成功落地,标志着物联网技术与地理科学教育的深度融合,为云南师范大学的地理教学提供了全新的教学平台与资源。该项目以物联网技术为核心,结合地理科学的特点&#…

绝地求生:PUBG 2024年 更新重点偏向于武器平衡、游戏互动及联名道具

一、游戏体验 1. 增加可破坏的环境 1.1 增加更多互动功能 通过可破坏环境将游戏方式变得千变万化。待功能上线,在后续游戏中玩家可以对建筑物进行部分破坏来开辟新的进攻、撤退路线,或搭建掩体进行战略性攻击。 环境破坏部分功能,将会在4…

基于SWOT的智能手机企业财务战略研究1.62

摘 要 近些年,网络技术日新月异,智能手机深受消费者喜爱,人们通过网络,手机应用,可以极大地方便人们学习,工作等等。由于国家对电信行业的大力支持,中国消费者群体逐步成为最具潜力的手机购买者…

中国首个基于区块链的分布式算力网络上线

随着美国人工智能公司OpenAI近期发布的Sora视频模型,全球对高性能算力的需求突破了历史新高。Sora的创新在于它能够以超长生成时间、多角度镜头捕捉,理解物理世界的能力,这不仅是技术的一大突破,更是对算力需求的一大挑战。在这样…