Flume日志采集系统的部署,实现flume负载均衡，flume故障恢复

目录

安装包

flume的部署

负载均衡测试

故障恢复

安装包

在这里给大家准备好了flume的安装包

通过网盘分享的文件：apache-flume-1.9.0-bin.tar.gz
链接: https://pan.baidu.com/s/1DXMA4PxdDtUQeMB4J62xoQ 提取码: euz7 
--来自百度网盘超级会员v4的分享

-----------------------------------------------------------------------------------------------

大家自行下载。那么正片开始。

flume的部署

首先，我们切换到software目录

cd /export/software

使用rz命令上传安装包

上传完成后，解压缩安装包道，servers目录

tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /export/servers

解压缩完成之后！

切换到servers目录

cd /export/servers

之后，我们进行一个重命名的大动作。

mv apache-flume-1.9.0-bin flume

ok，fine，一切完成之后，让我们切换到conf目录

cd /export/servers/flume/conf

切换完成之后，开始进行下一步，

复制一下文件。

cp flume-env.sh.template  flume-env.sh

完成之后，我们输入ll，查看一下自己是不是安装成功了。

之后我们输入。

vi flume-env.sh

进入文件，然后输入shift + g

到达文件底部，最后贴入自己java的环境变量。

export JAVA_HOME=/export/servers/jdk

大家根据自己的实际情况来进行修改哈，如果不知道自己的java环境变量是什么的话，可以冒号wq保存退出之后，在命令行输入·

vi /etc/profile

然后使用shift+g到达文件底部。

查看一下自己的环境变量，再复制粘贴到刚才的文件里。

看到这里首先不要着急的去复制。

来都来了，我们顺手配置一下flume的环境变量。

export FLUME_HOME=/export/servers/flume
export PATH=$FLUME_HOME/bin:$PATH

OK，配置完成之后，我们esc保存退出。

之后让我们来分发一下Flume吧。

scp -r /export/servers/flume/  hadoop02:/export/servers/
scp -r /export/servers/flume/  hadoop03:/export/servers/

现在你已经分发完flume了，那么接下来我们再分发一下环境变量。

scp -r /etc/profile hadoop02:/etc/
scp -r /etc/profile hadoop02:/etc/

分发完hadoop02和hadoop03环境变量，接下来我们需要分别在hadop02，和hadoop03上输入

soruce /etc/profile

来令环境变量生效。

接下来我们测试一下hadoop01的哦配置效果、

切换到hadoop01的data目录下

cd /export/data

切换完成之后，执行

netcat-logger.conf

复制下面的内容带哦文件里

a1.sources = r1
a1.sinks = k1
a1.channels = c1
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
a1.sinks.k1.type = logger
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

输入完成之后保存退出。

输入下面的命令看下效果。

 flume-ng agent --name a1 --conf conf/ --conf-file /export/data/netcat-logger.conf -Dflume.root.logger=INFO,console

出现下面的页面，就算是成功了。

，那么让我们再次打开一个hadoop01窗口，开始进行一些操作

打开另一个窗口之后，我们

yum -y install telnet

下载一个telnet包

下载完成之后，连接一下44444端口

telnet localhost 44444

然后另一边

日志采集到这里就算是完成了。

接下来使用ctrl+c退出进行下一步。两个窗口都ctrl+c，然后随便关闭一个。

都干完之后，我们来到hadop01的flume的conf目录

cd /export/servers/flume/conf

输入

vi exec-avro.conf

然后粘贴下面的内容，粘贴完成之后，保存退出。

a1.sources  =  r1
a1.sinks = k1 k2
a1.channels = c1
a1.sources.r1.channels = c1
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /export/data/123.log
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.sinks.k1.channel = c1
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop02
a1.sinks.k1.port = 53421
a1.sinks.k2.channel = c1
a1.sinks.k2.type = avro
a1.sinks.k2.hostname = hadoop03
a1.sinks.k2.port = 53421
a1.sinkgroups = g1
a1.sinkgroups.g1.sinks = k1 k2
a1.sinkgroups.g1.processor.type = load_balance
a1.sinkgroups.g1.processor.backoff = true
a1.sinkgroups.g1.processor.selector = random
a1.sinkgroups.g1.processor.maxTimeOut=10000

输入完成之后，我切换搭配hadoop02的conf目录下

vi avro-logger1.conf

染的时候输入下面的内容

a1.sources = r1
a1.sinks = k1
a1.channels = c1
a1.sources.r1.type = avro
a1.sources.r1.bind = hadoop02
a1.sources.r1.port = 53421
a1.sinks.k1.type = logger
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
 

完成之后，切换到hadoop03的虚拟机
 

同样是切换目录
 

vi avro-logger2.conf
 

切换完成之后，我们输入下面的内容
 

a1.sources = r1
a1.sinks = k1
a1.channels = c1
a1.sources.r1.type = avro
a1.sources.r1.bind = hadoop03
a1.sources.r1.port = 53421
a1.sinks.k1.type = logger
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
 

配置完成之后，我们在hadoop02上执行下面的命令，来启动agent
 

flume-ng agent --name a1 --conf conf/ --conf-file  avro-logger1.conf -Dflume.root.logger=INFO,console
 

完成之后切换到hadoop03，执行下面的命令
 

flume-ng agent --name a1 --conf conf/ --conf-file  avro-logger2.conf -Dflume.root.logger=INFO,console
 

下面放上hadoop01和hadoop02启动成功的画面
 

 

 

之后，我们切换回hadoop01
 

切换到conf目录
 

cd /export/servers/flume/conf
 

之后输入下面的命令
 

flume-ng agent --name a1 --conf conf/ --conf-file exec-avro.conf -Dflume.root.logger=INFO,console
 

启动成功之后如下图所示。
 

 

ok，一切完成之后，我们开始一个负载均衡测试。
 

负载均衡测试
 

我们再次打开一个hadop01的窗口
 

像data目录下写入，flume flume...
 

下面的命令每隔两秒会向日志追加一条flume flume...
 

while true;do echo "flume flume..." >> /export/data/123.log;sleep 2;done
 

hadoop01和hadoop03会如下图所示
 

 

 

接下来我们就可以开心的开始下一项’
 

故障恢复
 

下面文件里的内容，一定要和自己的主机名搭配起来！！！！
 

来到hadoop01的conf目录下
 

cd /export/servers/flume/conf
 

输入
 

vi exec-avro-failover.conf
 

输入下面的内容
 

a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1
a1.sources.r1.channels = c1
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /export/data/456.log
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.sinks.k1.channel = c1
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop02
a1.sinks.k1.port = 53422
a1.sinks.k2.channel = c1
a1.sinks.k2.type = avro
a1.sinks.k2.hostname = hadoop03
a1.sinks.k2.port = 53422
a1.sinkgroups = g1
a1.sinkgroups.g1.sinks = k1 k2
a1.sinkgroups.g1.processor.type = failover
a1.sinkgroups.g1.processor.priority.k1 = 5
a1.sinkgroups.g1.processor.priority.k2 = 10
a1.sinkgroups.g1.processor.maxpenalty = 10000
 

 

那么好 ，接下来切换到hadoop02
 

vi avro-logger3.conf
 

写入以下内容
 

a1.sources = r1
a1.sinks = k1
a1.channels = c1
a1.sources.r1.type = avro
a1.sources.r1.bind = hadoop02
a1.sources.r1.port = 53422
a1.sinks.k1.type = logger
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
 

​
 

然后wq保存退出
 

那么再切换到hadoop03
 

vi avro-logger4.conf
 

写入下面的内容
 

a1.sources = r1
a1.sinks = k1
a1.channels = c1
a1.sources.r1.type = avro
a1.sources.r1.bind = hadoop03
a1.sources.r1.port = 53422
a1.sinks.k1.type = logger
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
 

接下来切换到hadoop02,输入
 

flume-ng agent --name a1 --conf conf/ --conf-file  avro-logger3.conf -Dflume.root.logger=INFO,console
 

接下来切换到hadoop03
 

flume-ng agent --name a1 --conf conf/ --conf-file  avro-logger4.conf -Dflume.root.logger=INFO,console
 

接下来切换到hadoop01的conf目录下。
 

cd /export/servers/flume/conf
 

flume-ng agent --name a1 --conf conf/ --conf-file  exec-avro-failover.conf -Dflume.root.logger=INFO,console
 

全部启动成功之后，我们切换到
 

hadoop01就可以提开始发挥了
 

while true;do echo "flume flume..." >> /export/data/456.log;sleep 2;done
 

音位hadoop03的优先级会比hadoop02高
 

所以是hadoop03会比hadoop02先写入日志
 

 

这个时候，就要及时止损，
 

ctrl+c退出，静等一会儿，你就会发现
 

hadoop02上出现了hadoop03上终止的信息。日志记录不会被停止‘
 












本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/476568.html


如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！











相关文章










SQL注入靶场演练








SQL注入靶场演练




找闭合，用万能密码，发现过滤or，所以绕过admin’oORr‘1‘’1 发现登陆成功 
尝试用order by查询列数，又发现by过滤，所以绕过admin’/**/oorrder/**/bBYy/**/3查出列数是3 
用联合查询，发现过滤http://139.1…




阅读更多...

















【软件入门】Git快速入门








【软件入门】Git快速入门




Git快速入门 文章目录 Git快速入门0.前言1.安装和配置2.新建版本库2.1.本地创建2.2.云端下载 3.版本管理3.1.添加和提交文件3.2.回退版本3.2.1.soft模式3.2.2.mixed模式3.2.3.hard模式3.2.4.使用场景 3.3.查看版本差异3.4.忽略文件 4.云端配置4.1.Github4.1.1.SSH配置4.1.2.关联…




阅读更多...

















日常开发记录-正确的prop传参，reduce搭配promise的使用








日常开发记录-正确的prop传参，reduce搭配promise的使用




日常开发记录-正确的prop传参，reduce搭配promise的使用 1.正确的prop传参2.reduce搭配promise的使用 1.正确的prop传参 
一般会的父组件传参子组件 
//父组件
<A :demodata.sync"testData" :listData.sync"testData2"></A>
data ()…




阅读更多...

















最大熵谱估计








最大熵谱估计




估计思想&#xff1a;采用最大熵原则&#xff0c;外推自相关函数方法估计信号功率谱。它基于将已知的有限长度自相关序列以外的数据用外推的方法求得&#xff0c; 而不是把它们当作是零。 
已知{ R(0),R(1),…R(p)},求得R(p1),R(p2),… 保证外推后自相关矩阵正定&#xff0c;自…




阅读更多...

















JavaWeb——Mybatis








JavaWeb——Mybatis




6. Mybatis 
MyBatis是一款优秀的持久层框架&#xff0c;用于简化JDBC的开发 
6.1. Mybatis入门 
6.1.1. 入门程序 6.1.2. JDBC 6.1.3. 数据库连接池 6.1.4. Lombok 6.2. Mybatis基础操作 
6.2.1. 删除 
6.2.1.1. 根据主键删除 6.2.1.2. 预编译SQL 
#{id}在编译过程中会替换成?…




阅读更多...

















零碎04 MybatisPlus自定义模版生成代码








零碎04 MybatisPlus自定义模版生成代码




目录 
背景 
动手开干 
需要的依赖包&#xff0c;需要注意mybatis-plus-generator的3.5版本是没有兼容历史版本的。 
定义一个CodeGenerator类&#xff0c;负责生成代码和配置属性 
Entity模版 背景 
MybatisPlus代码生成使用默认的velocity模版解决不了定制化的需求&#xff0…




阅读更多...

















tomcat 后台部署 war 包 getshell








tomcat 后台部署 war 包 getshell




1. tomcat 后台部署 war 包 getshell 
首先进入该漏洞的文件目录  使用docker启动靶场环境  查看端口的开放情况  访问靶场&#xff1a;192.168.187.135:8080  访问靶机地址 http://192.168.187.135:8080/manager/html Tomcat 默认页面登录管理就在 manager/html 下&#xff0c…




阅读更多...

















MongoDB进阶篇-索引（索引概述、索引的类型、索引相关操作、索引的使用）








MongoDB进阶篇-索引（索引概述、索引的类型、索引相关操作、索引的使用）




文章目录 1. 索引概述2. 索引的类型2.1 单字段索引2.2 复合索引2.3 其他索引2.3.1 地理空间索引&#xff08;Geospatial Index&#xff09;2.3.2 文本索引&#xff08;Text Indexes&#xff09;2.3.3 哈希索引&#xff08;Hashed Indexes&#xff09; 3. 索引相关操作3.1 查看索…




阅读更多...

















如何给 Apache 新站点目录配置 SELinux ？








如何给 Apache 新站点目录配置 SELinux ？




在 web 服务器管理领域&#xff0c;确保服务器环境的安全性至关重要。SELinux (Security-Enhanced Linux) 是保护 Linux 服务器最有效的工具之一&#xff0c;它是一种强制访问控制 (MAC  mandatory access control) 安全机制。当使用最流行的 web 服务器 Apache 提供 web 内容时…




阅读更多...

















Elasticsearch 开放推理 API 增加了对 IBM watsonx.ai Slate 嵌入模型的支持








Elasticsearch 开放推理 API 增加了对 IBM watsonx.ai Slate 嵌入模型的支持




作者&#xff1a;来自 Elastic Saikat Sarkar 使用 Elasticsearch 向量数据库构建搜索 AI 体验时如何使用 IBM watsonx™ Slate 文本嵌入。 Elastic 很高兴地宣布&#xff0c;通过集成 IBM watsonx™ Slate 嵌入模型&#xff0c;我们的开放推理 API 功能得以扩展&#xff0c;这…




阅读更多...

















【前端】深入理解 JavaScript 逻辑运算符的优先级与短路求值机制








【前端】深入理解 JavaScript 逻辑运算符的优先级与短路求值机制




博客主页&#xff1a;  [小ᶻZ࿆]  本文专栏:  前端  文章目录 &#x1f4af;前言&#x1f4af;案例背景&#x1f4af;逻辑运算符的优先级与短路求值运算符优先级的概念短路求值的概念 &#x1f4af;分析案例代码的执行过程第一步&#xff1a;执行 && 运算第二步&#…




阅读更多...

















2024年11月21日Github流行趋势








2024年11月21日Github流行趋势




项目名称&#xff1a;twenty 项目维护者&#xff1a;charlesBochet, lucasbordeau, Weiko, FelixMalfait, bosiraphael项目介绍&#xff1a;正在构建一个由社区支持的现代化Salesforce替代品。项目star数&#xff1a;21,798项目fork数&#xff1a;2,347  项目名称&#xff1a;p…




阅读更多...

















【算法】计算程序执行时间（C/C++）








【算法】计算程序执行时间（C/C++）




引言 
我们在写算法时要考虑到算法的执行效率&#xff0c;有的题目规定了时间限制&#xff0c;我们需要在这个时间之内去解决问题。如果我们需要比对算法的好坏&#xff0c;就需要输出这个程序运行了多长时间。 
在C或C中计算程序执行时间&#xff0c;可以使用多种方法&#xf…




阅读更多...

















【题解】—— LeetCode一周小结46








【题解】—— LeetCode一周小结46




&#x1f31f;欢迎来到 我的博客 —— 探索技术的无限可能&#xff01; &#x1f31f;博客的简介&#xff08;文章目录&#xff09; 【题解】—— 每日一道题目栏 上接&#xff1a;【题解】—— LeetCode一周小结45 11.切棍子的最小成本 
题目链接&#xff1a;1547. 切棍子的最…




阅读更多...

















PH热榜 | 2024-11-22








PH热榜 | 2024-11-22




DevNow 是一个精简的开源技术博客项目模版&#xff0c;支持 Vercel 一键部署&#xff0c;支持评论、搜索等功能&#xff0c;欢迎大家体验。 在线预览 1. Lovable 
标语&#xff1a;全球首位全栈人工智能工程师 
介绍&#xff1a;GPT工程师已在140多个国家拥有超过5万用户&#…




阅读更多...

















时序论文23｜ICML24谷歌开源零样本时序大模型TimesFM








时序论文23｜ICML24谷歌开源零样本时序大模型TimesFM




论文标题&#xff1a;A DECODER - ONLY FOUNDATION MODEL FOR TIME - SERIES FORECASTING 
论文链接&#xff1a;https://arxiv.org/abs/2310.10688 
论文链接&#xff1a;https://github.com/google-research/timesfm 
前言 
谷歌这篇时间序列大模型很早之前就在关注&#xff…




阅读更多...

















【UCIE协议系列-1】








【UCIE协议系列-1】




UCIE协议系列-1 1 UCIE背景1.1 UCIE产生背景1.2 UCIE主要特性 2 UCIE分层协议2.1 Protocol 层2.1.1 Mode VS protocal2.1.2 PCIe 6.02.1.2.1 Raw Mode for PCIe 6.02.1.2.2 Flit Mode: Standard 256B Flit for PCIe 6.0 2.1.3 CXL3.0 256B Flit Mode2.1.3.1 Raw Mode for CXL 2…




阅读更多...

















智能安全配电装置在高校实验室中的应用








智能安全配电装置在高校实验室中的应用




​ 
摘要&#xff1a;高校实验室是科研人员进行科学研究和实验的场所&#xff0c;通常会涉及到大量的仪器设备和电气设备。电气设备的使用不当或者维护不周可能会引发火灾事故。本文将以一起实验室电气火灾事故为例&#xff0c;对事故原因、危害程度以及防范措施进行分析和总结…




阅读更多...

















ESP8266 STA模式TCP客户端 电脑手机网络调试助手








ESP8266 STA模式TCP客户端 电脑手机网络调试助手




1.STA模式TCP客户端和电脑网络调试助手 2.STA模式TCP客户端和手机网络调试助手




阅读更多...

















高中-信息技术科目考试-编程题








高中-信息技术科目考试-编程题




&#xff08;24上&#xff09;1.为了响应国家低碳的倡议&#xff0c;学校请你设计一个饮料瓶回收系统&#xff0c;根据投的饮料瓶类型和数量进行奖励。具体如下图&#xff1a;假设学生投瓶10个&#xff0c;投瓶类型定义为t&#xff08;0表示塑料瓶&#xff0c;1表示易拉罐&…




阅读更多...


















最新文章












推荐文章


















Copyright @ 2022~2023