63、ELK安装和部署

一、ELK日志系统

1.1、ELK平台的定义

ELK平台是一套完整的日志集中处理解决方案,将ElasticSearch、Logstash和Kiabana 三个开源工具配合使用,完成更强大的用户对日志的查询、排序、统计需求

E:elasticsearch ES分布式索引型非关系数据库,存储logstash输出的日志,全文检索引擎,保存的格式json格式。

  • 是基于Lucene(一个全文检索引擎的架构)开发的分布式存储检索引擎,用来存储各类日志。
  • Elasticsearch 是用Java开发的(需要安装jdk),可通过RESTful Web接口,让用户可以通过浏览器与Elasticsearch通信。

RESTful api

下面是标准的 HTTP 方法与 RESTful 资源管理之间的映射关系:

  • GET (获取 文档)

  • POST(创建 )

  • PUT ( 更新)

  • DELTET (删除)

  • GET (搜索 值)

  • Elasticsearch是一个实时的、分布式的可扩展的搜索引擎,允许进行全文、结构化搜索,它通常用于索引和搜索大容量的日志数据,也可用于搜索许多不同类型的文档。

  • 核心概念:

  • 接近实时:一旦索引操作完成(通常在几秒钟内),文档就能几乎立刻被搜索到

  • 集群:是由一个或多个节点组成的
    节点:一个独立运行实例,它可以存储数据、参与文档索引和搜索过程

  • 索引:索引(库)——>类型(表)——>文档(记录),可以理解为一种数据库的特性,是一个大的文档的集合

  • 分片:允许将索引切分成多个分片,可以在集群的不同节点上独立分布和操作

  • 副本:允许为索引的每个分片创建副本,可以分摊读请求、有冗余能力

L:logstash 基于java语言开发,数据收集引擎,日志的收集,可以对数据进行过滤,分析,汇总,以标准格式输出。

  • Logstash作为数据收集引擎
  • 它支持动态的从各种数据源搜集数据,并对数据进行过滤、分析、丰富、统一格式等操作,然后存储到用户指定的位置。一般会发送给Elasticsearch。
  • Logstash 由Ruby 语言编写,运行在Java虚拟机(JVM)上,是一款强大的数据处理工具,可以实现数据传输、格式处理、格式化输出。
  • Logstash具有强大的插件功能,常用于日志处理。
  • 组件:Shipper、indexer、Boker、search and storage 、web interface
  • 数据流向:input数据输入、filter数据过滤、output数据输出

K:kiabana 是es的可视化工具。对es存储的数据进行可视化展示,分析和展示。

  • Kibana 通常与ElasticSearch一起部署,Kibana是Elasticsearch的一个功能强大的数据可视化 Dashboard
  • *Kibana提供图形化的web界面来浏览Elasticsearch日志数据*,可以用来汇总、分析和搜索重要数据。

1.2、ELK的架构----用来日志集中管理

1.2.1、ELK 的工作原理

(1)在所有需要收集日志的服务器上部署Logstash;或者先将日志进行集中化管理在日志服务器上,在日志服务器上部署 Logstash。
(2)Logstash 收集日志,将日志格式化并输出到 Elasticsearch 群集中。
(3)Elasticsearch 对格式化后的数据进行索引和存储。
(4)Kibana 从 ES 群集中查询数据生成图表,并进行前端数据的展示。

logstash作为日志搜集器,从数据源采集数据,并对数据进行过滤,格式化处理,然后交由Elasticsearch存储,kibana对日志进行可视化处理。

ELK工作流程

一般都是在需要收集日志的所有服务上部署logstash,作为logstash shipper用于监控并收集、过滤日志,接着,
将过滤后的日志发送给Broker,然后,LogstashIndexer将存放在Broker中的数据再写入Elasicsearch,Elasticsearch对这
些数据创建索引,最后由Kibana对其进行各种分析并以图表的形式展示。

在这里插入图片描述

1.3、ELK的作用

  • 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。

  • 往往单台机器的日志我们使用grep、awk等工具就能基本实现简单分析,但是当日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理,例如:开源的syslog,将所有服务器上的日志收集汇总。集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用 grep、awk和wc等Linux命令能实现检索和统计,但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

  • 一般大型系统是一个分布式部署的架构,不同的服务模块部署在不同的服务器上,问题出现时,大部分情况需要根据问题暴露的关键信息,定位到具体的服务器和服务模块,构建一套集中式日志系统,可以提高定位问题的效率。

  • 收集:能够采集多种来源的日志数据

  • 传输:能够稳定的把日志数据解析过滤并传输到存储系统

  • 存储:存储日志数据

  • 分析:支持 UI 分析

  • 警告:能够提供错误报告,监控机制

二、ELK F K

2.1、f

filebeat :轻量级的开源日志文件数据收集器。logstash 占用系统资源比较大,属于重量级。

有了flebeat可以节省资源,可以通过filebeat和logstash实现远程数据收集。filereat不能对数据进行标准输出,不能输出为es格式的数据,所以需要logstash把filebeat数据做标准化处理。

elk f架构

在这里插入图片描述

ELK 企业级日志分析系统

---------------------- ELK 概述 ----------------------------------------
1、ELK 简介
ELK平台是一套完整的日志集中处理解决方案,将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用, 
完成更强大的用户对日志的查询、排序、统计需求。●ElasticSearch:是基于Lucene(一个全文检索引擎的架构)开发的分布式存储检索引擎,用来存储各类日志。Elasticsearch 是用 Java 开发的,可通过 RESTful Web 接口,让用户可以通过浏览器与 Elasticsearch 通信。Elasticsearch是一个实时的、分布式的可扩展的搜索引擎,允许进行全文、结构化搜索,
它通常用于索引和搜索大容量的日志数据,也可用于搜索许多不同类型的文档。●Kiabana:Kibana 通常与 Elasticsearch 一起部署,Kibana 是 Elasticsearch 的一个功能强大
的数据可视化 Dashboard,Kibana 提供图形化的 web 界面来浏览 Elasticsearch 日志数据,
可以用来汇总、分析和搜索重要数据。●Logstash:作为数据收集引擎。它支持动态的从各种数据源搜集数据,并对数据进行过滤、分析、丰富、
统一格式等操作,然后存储到用户指定的位置,一般会发送给 Elasticsearch。Logstash 由 Ruby 语言编写,运行在 Java 虚拟机(JVM)上,是一款强大的数据处理工具, 
可以实现数据传输、格式处理、格式化输出。Logstash 具有强大的插件功能,常用于日志处理。#可以添加的其它组件:
●Filebeat:轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat,
并指定目录与日志格式,Filebeat 就能快速收集数据,并发送给 logstash 进行解析,
或是直接发给 Elasticsearch 存储,性能上相比运行于 JVM 上的 logstash 优势明显,
是对它的替代。常应用于 EFLK 架构当中。#filebeat 结合 logstash 带来好处:
1)通过 Logstash 具有基于磁盘的自适应缓冲系统,该系统将吸收传入的吞吐量,
从而减轻 Elasticsearch 持续写入数据的压力
2)从其他数据源(例如数据库,S3对象存储或消息传递队列)中提取
3)将数据发送到多个目的地,例如S3,HDFS(Hadoop分布式文件系统)或写入文件
4)使用条件数据流逻辑组成更复杂的处理管道●缓存/消息队列(redis、kafka、RabbitMQ等):可以对高并发日志数据进行流量削峰和缓冲,
这样的缓冲可以一定程度的保护数据不丢失,还可以对整个架构进行应用解耦。●Fluentd:是一个流行的开源数据收集器。由于 logstash 太重量级的缺点,Logstash 性能低、
资源消耗比较多等问题,
随后就有 Fluentd 的出现。相比较 logstash,Fluentd 更易用、资源消耗更少、性能更高,
在数据处理上更高效可靠,
受到企业欢迎,成为 logstash 的一种替代方案,常应用于 EFK 架构当中。
在 Kubernetes 集群中也常使用 EFK 作为日志数据收集的方案。在 Kubernetes 集群中一般是通过 DaemonSet 来运行 Fluentd,以便它在每个 Kubernetes 
工作节点上都可以运行一个 Pod。 
它通过获取容器日志文件、过滤和转换日志数据,然后将数据传递到 Elasticsearch 集群,
在该集群中对其进行索引和存储。2、为什么要使用 ELK:
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、
检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,
从而及时采取措施纠正错误。
往往单台机器的日志我们使用grep、awk等工具就能基本实现简单分析,但是当日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理,例如:开源的syslog,将所有服务器上的日志收集汇总。
集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,
一般我们使用 grep、awk和wc等Linux命令能实现检索和统计,
但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
一般大型系统是一个分布式部署的架构,不同的服务模块部署在不同的服务器上,问题出现时,
大部分情况需要根据问题暴露的关键信息,定位到具体的服务器和服务模块,构建一套集中式日志系统,
可以提高定位问题的效率。3、完整日志系统基本特征
收集:能够采集多种来源的日志数据
传输:能够稳定的把日志数据解析过滤并传输到存储系统
存储:存储日志数据
分析:支持 UI 分析
警告:能够提供错误报告,监控机制4、ELK 的工作原理:
(1)在所有需要收集日志的服务器上部署Logstash;或者先将日志进行集中化管理在日志服务器上,
在日志服务器上部署 Logstash。
(2)Logstash 收集日志,将日志格式化并输出到 Elasticsearch 群集中。
(3)Elasticsearch 对格式化后的数据进行索引和存储。
(4)Kibana 从 ES 群集中查询数据生成图表,并进行前端数据的展示。总结:logstash作为日志搜集器,从数据源采集数据,并对数据进行过滤,格式化处理,
然后交由Elasticsearch存储,kibana对日志进行可视化处理。

三、elk架构部署

192.168.168.61   es1  2/4g192.168.168.62   es2  2/4g192.168.168.63   logstash  kibana  nginx/http  4/8g

三台同时开启

systemctl stop firewalld
setenforce 0yum -y install ntpdatentpdate ntp.aliyun.com或者date一下看看三台服务器是否同步

------------------- ELK Elasticsearch 集群部署(在Node1、Node2节点上操作) ----------------------------------

1.环境准备
#设置Java环境java -version										#如果没有安装,yum -y install java
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)2.部署 Elasticsearch 软件
(1)安装elasticsearch—rpm包
#上传elasticsearch-6.7.2.rpm到/opt目录下
cd /opt
rpm -ivh elasticsearch-6.7.2.rpm(2)修改elasticsearch主配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
vim /etc/elasticsearch/elasticsearch.yml
--17--取消注释,指定集群名字
cluster.name: my-elk-cluster
--23--取消注释,指定节点名字:Node1节点为node1,Node2节点为node2
node.name: node1
node.master: true		#是否master节点,false为否
node.data: true			#是否数据节点,false为否
--33--取消注释,指定数据存放路径
path.data: /var/lib/elasticsearch
--37--取消注释,指定日志存放路径
path.logs: /var/log/elasticsearch
--43--取消注释,避免es使用swap交换分区,可以不注释
bootstrap.memory_lock: true
--55--取消注释,设置监听地址,0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释,ES 服务的默认监听端口为9200
http.port: 9200					#指定es集群提供外部访问的接口
transport.tcp.port: 9300		#指定es集群内部通信接口
--68--取消注释,集群发现通过单播实现,指定要发现的节点
discovery.zen.ping.unicast.hosts: ["192.168.168.61:9300", "192.168.168.62:9300"]grep -v "^#" /etc/elasticsearch/elasticsearch.yml(3)es 性能调优参数
#优化最大内存大小和最大文件描述符的数量
vim /etc/security/limits.conf
......*  soft    nofile          65536
*  hard    nofile          65536
*  soft    nproc           32000
*  hard    nproc           32000
*  soft    memlock         unlimited
*  hard    memlock         unlimitedvim /etc/systemd/system.conf
DefaultLimitNOFILE=65536
DefaultLimitNPROC=32000
DefaultLimitMEMLOCK=infinityDefaultLimitNOFILE=65536:
这是指定一个用户会话(session)的默认最大文件描述符数量的限制。
文件描述符是一个用于标识打开文件或其他 I/O 资源的整数。在这里,设置为 65536,
表示一个用户会话可以拥有的最大文件描述符数为 65536。DefaultLimitNPROC=32000:
这是指定一个用户会话的默认最大进程数量的限制。进程是正在运行的程序的实例。
这里设置为 32000,表示一个用户会话可以拥有的最大进程数为 32000。DefaultLimitMEMLOCK=infinity:
这是指定一个用户会话的默认锁定内存的限制。锁定内存是指将内存保留在物理内存中,
防止被交换到磁盘。"infinity" 表示没有内存锁定的限制,用户会话可以锁定任意数量的内存。需重启生效#优化elasticsearch用户拥有的内存权限
由于ES构建基于lucene, 而lucene设计强大之处在于lucene能够很好的利用操作系统内存来缓存索引数据,
以提供快速的查询性能。lucene的索引文件segements是存储在单文件中的,并且不可变,对于OS来说,
能够很友好地将索引文件保持在cache中,以便快速访问;因此,我们很有必要将一半的物理内存留给lucene ; 另一半的物理内存留给ES(JVM heap )。所以, 在ES内存设置方面,可以遵循以下原则:
1.当机器内存小于64G时,遵循通用的原则,50%给ES,50%留给操作系统,供lucene使用
2.当机器内存大于64G时,遵循原则:建议分配给ES分配 4~32G 的内存即可,其它内存留给操作系统,供lucene使用vim /etc/sysctl.conf
#一个进程可以拥有的最大内存映射区域数,参考数据(分配 2g/262144,4g/4194304,8g/8388608)
vm.max_map_count=262144vm.max_map_count 参数用于限制一个进程可以拥有的最大内存映射区域数。
内存映射是一种将文件或其他设备映射到进程地址空间的方法,
允许进程直接读取或写入文件,而无需进行常规的文件 I/O 操作。Elasticsearch 和 Lucene 等搜索引擎: 这些引擎使用内存映射来加速索引和搜索操作。
大量的映射区域可以用于存储索引和缓存,提高搜索性能。数据库系统: 一些数据库系统使用内存映射来管理数据文件,以加速读写操作。科学计算和大数据处理: 在某些科学计算和大数据处理应用中,内存映射可以用于高效地处理大型数据集。sysctl -p
sysctl -a | grep vm.max_map_count(4)启动elasticsearch是否成功开启
systemctl start elasticsearch.service
systemctl enable elasticsearch.service
netstat -antp | grep 9200

在这里插入图片描述

在这里插入图片描述

(5)查看节点信息

浏览器访问 http://192.168.168.61:9200 、 http://192.168.168.62:9200 查看节点 Node1、Node2 的信息。

在这里插入图片描述
在这里插入图片描述

浏览器访问 http://192.168.168.61:9200/_cluster/health?pretty 、 http://192.168.168.62:9200/_cluster/health?pretty查看群集的健康情况,可以看到 status 值为 green(绿色), 表示节点健康运行。-------后面查看

浏览器访问 http://192.168.168.61:9200/_cluster/state?pretty 检查群集状态信息。-------后面查看

#使用上述方式查看群集的状态对用户并不友好,可以通过安装 Elasticsearch-head 插件,可以更方便地管理群集。

3.安装 Elasticsearch-head 插件

Elasticsearch 在 5.0 版本后,Elasticsearch-head 插件需要作为独立服务进行安装,
需要使用npm工具(NodeJS的包管理工具)安装。
安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs。
node:是一个基于 Chrome V8 引擎的 JavaScript 运行环境。
phantomjs:是一个基于 webkit 的JavaScriptAPI,可以理解为一个隐形的浏览器,
任何基于 webkit 浏览器做的事情,它都可以做到。

(1)编译安装 node

#上传软件包 node-v8.2.1.tar.gz 到/opt
yum install gcc gcc-c++ make -ycd /opt
tar zxvf node-v8.2.1.tar.gzcd node-v8.2.1/
./configure
make && make install

(2)安装 phantomjs

(2)安装 phantomjs
#上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到
cd /opt
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd /opt/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

(3)安装 Elasticsearch-head 数据可视化工具

#上传软件包 elasticsearch-head-master.zip 到/opt
cd /opt
unzip elasticsearch-head-master.zip
cd elasticsearch-head-master/
npm install		 //安装依赖包#速度慢,可以指定为淘宝镜像
npm config set registry http://registry.npm.taobao.org/  #再次安装
npm install

(4)修改 Elasticsearch 主配置文件

vim /etc/elasticsearch/elasticsearch.yml
......
--末尾添加以下内容--
http.cors.enabled: true				#开启跨域访问支持,默认为 false
http.cors.allow-origin: "*"			#指定跨域访问允许的域名地址为所有systemctl restart elasticsearch

(5)启动 elasticsearch-head 服务

#必须在解压后的 elasticsearch-head 目录下启动服务,进程会读取该目录下的 gruntfile.js 文件,否则可能启动失败。
cd /opt/elasticsearch-head-master
npm run start &> elasticsearch-head@0.0.0 start /opt/elasticsearch-head-master
> grunt serverRunning "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100

回车

#elasticsearch-head 监听的端口是 9100
netstat -natp |grep 9100

(6)通过 Elasticsearch-head 查看 Elasticsearch 信息

通过浏览器访问 http://192.168.168.61:9100/ 地址并连接群集。如果看到群集健康值为 green 绿色,代表群集很健康。
在这里插入图片描述
在这里插入图片描述

(7)插入索引

#通过命令插入一个测试索引,索引为 index-demo,类型为 test。

curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'

//输出结果如下:

{
"_index" : "index-demo",
"_type" : "test",
"_id" : "1",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 2,
"failed" : 0
},
"created" : true
}

删除索引

curl -X DELETE 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'

浏览器访问 http://192.168.168.61:9100/ 查看索引信息,可以看见索引默认被分片5个,并且有一个副本。

在这里插入图片描述

点击“数据浏览”,会发现在node1上创建的索引为 index-demo,类型为 test 的相关信息。

在这里插入图片描述

Elasticsearch 的可视化工具中,以索引分区(Shard)为单位,
可能采用不同的标识颜色来表示它们的状态。黑色的边框通常表示主分片(Primary Shard)。

在 Elasticsearch 中,索引被分成多个分区,这些分区称为分片。
每个索引可能包含一个或多个主分片以及它们的副本。主分片是数据的主要存储,
副本用于提高冗余和可用性。

---------------------- ELK Logstash 部署(在 Apache 节点上操作) ----------------------------------------

Logstash 一般部署在需要监控其日志的服务器。在本案例中,Logstash 部署在 Apache 服务器上,
用于收集 Apache 服务器的日志信息并发送到 Elasticsearch。

1.更改主机名
hostnamectl set-hostname apache2.安装Apahce服务(httpd)
yum -y install httpd
systemctl start httpd3.安装Java环境
yum -y install java
java -version4.安装logstash
#上传软件包 logstash-6.7.2.rpm 到/opt目录下
cd /opt
rpm -ivh logstash-6.7.2.rpm                          
systemctl start logstash.service                      
systemctl enable logstash.serviceln -s /usr/share/logstash/bin/logstash /usr/local/bin/

#可以指定logstash的工作目录,默认为:/etc/logstash/conf.d
path.config: /opt/log

5.测试 Logstash
Logstash 命令常用选项:
-f:通过这个选项可以指定 Logstash 的配置文件,根据配置文件配置 Logstash 的输入和输出流。

-e:从命令行中获取,输入、输出后面跟着字符串,
该字符串可以被当作 Logstash 的配置(如果是空,则默认使用 stdin 作为输入,stdout 作为输出)。

-t:测试配置文件是否正确,然后退出。

定义输入和输出流:
#输入采用标准输入,输出采用标准输出(类似管道),新版本默认使用 rubydebug 格式输出

logstash -e 'input { stdin{} } output { stdout{} }'

在这里插入图片描述

#使用 rubydebug 输出详细格式显示,codec 为一种编解码器

logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'

Ruby 调试信息使用 rubydebug 格式进行输出,显示了事件的各个字段和元数据。

www.baidu.com #键入内容(标准输入)
{
“@timestamp” => 2020-12-22T02:15:39.136Z, #输出结果(标准输出处理后的结果)
“@version” => “1”,
“host” => “apache”,
“message” => “www.baidu.com”
}

#使用 Logstash 将信息写入 Elasticsearch 中

logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.168.61:9200","192.168.168.62:9200"] } }'

​ 输入 输出 对接

在这里插入图片描述

www.baidu.com #键入内容(标准输入)
www.sina.com.cn #键入内容(标准输入)
www.google.com #键入内容(标准输入)

//结果不在标准输出显示,而是发送至 Elasticsearch 中,可浏览器访问 http://192.168.168.61:9100/ 查看索引信息和数据浏览。

logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.168.61:9200","192.168.168.62:9200"] } }' --path.data /opt/test1

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

四、es的主从和数据模式

node.master: true
es数据库的主从类型 true false
node.data: true
数据节点,是否保存数据,logstash发送数据,节点是否接受以及保存。

4.1、es如何创建,修改,删除数据数据管理

通过http的方式

post方式修改数据

创建数据

curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'localhost:9200 ##对应的就是本地数据库的地址 ip+端口index-demo ##创建索引分片的名称test ##数据的名称1 ##数据的id字段?pretty&pretty ##参数设定为json格式-d ##数据的具体内容"user":"zhangsan","mesg"."hello world" 

修改数据的方式:

curl -X POST ‘localhost:9200/index-demo/test/1/_update?pretty’ -H ‘Content-Type: application/json’ -d ‘{ “doc”: { “user”: “zhangsan”, “mesg”: “hello1 world1” } }’

删除数据的方式

curl -X DELETE ‘localhost:9200/index-demo/test/1?pretty&pretty’ -H ‘content-Type: application/json’ -d ‘{“user”:“zhangsan”,“mesg”:“hello world”}’

五、安装kibana

[root@elk3 opt]# cd /etc/logstash/conf.d/vim system.confinput {file{path =>"/var/log/messages"type =>"system"start_position =>"beginning"#从结尾开始end}}       
output {elasticsearch {hosts =>["192.168.168.61:9200","192.168.168.62:9200"]index =>"system-%{+YYYY.MM.dd}"}
}logstash -f system.conf --path.data /opt/test2 &
##后台运行即可回车即可cd /opt拖安装包 kibana-6.7.2-x86_64.rpm [root@elk3 opt]# rpm -ivh kibana-6.7.2-x86_64.rpm   ##一键安装[root@elk3 opt]# vim /etc/kibana/kibana.yml  ##配置kibana文件2 server.port: 5601##取消注释7 server.host: "0.0.0.0" ##取消注释,并打开监听端口为任意
28 elasticsearch.hosts: ["http://192.168.168.61:9200", "http://192.168.168.62:9200"] ##设置es1和es296 logging.dest: /var/log/kibana.log37 kibana.index: ".kibana"113 i18n.locale: "zh-CN"[root@elk3 opt]# touch /var/log/kibana.log
[root@elk3 opt]# chown kibana:kibana /var/log/kibana.log [root@elk3 opt]# systemctl restart kibana.service 
[root@elk3 opt]# systemctl enable kibana.service Created symlink from /etc/systemd/system/multi-user.target.wants/kibana.service to /etc/systemd/system/kibana.service.

http://192.168.168.63:5601/

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

[root@elk3 opt]# chmod 777 /var/log/messages
[root@elk3 opt]# systemctl restart httpd.service 

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/388448.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

loguru日志模块:简化Python自动化测试的日志管理!

引言 日志是软件开发中的关键组成部分,为开发和测试人员提供了调试和监控应用程序的重要手段。loguru 是一个第三方的 Python 日志库,以其简洁的 API 和自动化的功能脱颖而出。本文将探讨为什么项目中需要日志,loguru 为何受到青睐&#xff…

书生大模型实战营-基础关-书生大模型全链路开源体系

书生大模型全链路开源体系 书生浦语大模型开源历程书生浦语2.0(InternLM2)体系模型到应用书生浦语开源开放体系 书生浦语大模型开源历程 书生浦语2.0(InternLM2)体系 书生浦语2.0体系,模型大小主要有2种规格: 7B,为轻量级的研究和应用提供了…

【面试】前端开发中的“八股文”:助力还是阻力?

引言 在程序员面试中,“八股文”已经成为一个不可或缺的环节。它通常指的是那些面试中频繁出现的、有固定答案的问题,涉及计算机科学的基础知识、编程语言的特性、以及一些常见的设计模式和算法。然而,围绕“八股文”的争议从未停歇。一方面…

系统设计中15 个最重要的权衡

系统设计的第一法则:一切都与权衡有关。 在设计系统时,我们需要决定要包含哪些功能以及要忽略哪些功能。每次我们做这个决定时,我们都在进行权衡。在本文中,我们将探讨系统设计中遇到的15个最常见的权衡问题,并使用实…

程序员转行大模型:从代码到无限可能

在技术日新月异的时代背景下,许多程序员开始思考自己的职业发展路径。面对着人工智能与机器学习领域的迅速崛起,越来越多的技术人员将目光投向了更为广阔的天地——转行成为大模型研究者或开发者。这一转变不仅要求个人技能的迭代升级,更是一…

数据库一张以时间排好序的表中,找出多次相邻的那些行,如何实现??

🏆本文收录于《CSDN问答解惑-专业版》专栏,主要记录项目实战过程中的Bug之前因后果及提供真实有效的解决方案,希望能够助你一臂之力,帮你早日登顶实现财富自由🚀;同时,欢迎大家关注&&收…

数据结构:线性表(上)

谈到线性的数据结构,那肯定离不开两个最基础的:数组和链表,当然有了数组和链表就会聊到栈和队列。 那么本篇我们就来介绍数组和链表 一、数组 数组(Array) 是一种很常见的数据结构。它由相同类型的元素(…

分布式相关理论详解

目录 1.绪论 2.什么是分布式系统,和集群的区别 3.CAP理论 3.1 什么是CAP理论 3.2 一致性 3.2.1 计算机的一致性说明 1.事务中的一致性 2.并发场景下的一致性 3.分布式场景下的一致性 3.2.2 一致性分类 3.2.3 强一致性 1.线性一致性 a) 定义 a) Raft算法…

Java 并发编程:一文了解 Java 内存模型(处理器优化、指令重排序与内存屏障的深层解析)

大家好,我是栗筝i,这篇文章是我的 “栗筝i 的 Java 技术栈” 专栏的第 022 篇文章,在 “栗筝i 的 Java 技术栈” 这个专栏中我会持续为大家更新 Java 技术相关全套技术栈内容。专栏的主要目标是已经有一定 Java 开发经验,并希望进…

14.按钮和多选框

<p>爱好&#xff1a;<input type"checkbox" value"Riding" name"hobby">骑行<input type"checkbox" value"experiment" name"hobby">做实验<input type"checkbox" value"lea…

彻底解决免费avif图片转换jpg

需求背景 最近在捣鼓一些图片,发现avif的图片,本地可以查看,但是上传到网站上提示不支持的格式。于是需要将avif图片转换为jpg的图片。网上好多都是收费的,这里说一下免费的教程。 操作教程 以下的操作教程为win11,win10也大同小异。 1、准备avif图片 # 下面这个网络图…

springboot惠农服务平台-计算机毕业设计源码50601

目录 1 绪论 1.1 研究背景 1.2研究意义 1.3论文结构与章节安排 2 惠农服务平台app 系统分析 2.1 可行性分析 2.2 系统功能分析 2.3 系统用例分析 2.4 系统流程分析 2.5本章小结 3 惠农服务平台app 总体设计 3.1 系统功能模块设计 3.2 数据库设计 表access_token (…

57_2设置Servlet模板、Servlet线程安全问题、跳转

设置Servlet模板 再创建类就有了 模板代码 #if (${PACKAGE_NAME} && ${PACKAGE_NAME} ! "")package ${PACKAGE_NAME};#end #parse("File Header.java")import javax.servlet.ServletException; import javax.servlet.http.HttpServlet; import j…

SAP 采购订单审批 Flexible Workflow

目录 1 简介 2 业务数据 1&#xff09;下采购订单&#xff0c;如果订单金额超过 15w 生成 Flexible Workflow 审批 2&#xff09;审批采购订单 - 系统默认主页显示需要审批的采购订单&#xff0c;也可以设置成发邮件提醒 3 后台配置 4 前台主数据定义 1&#xff09;创建…

c++ 智能指针shared_ptr与make_shared

shared_ptr是C11引入的一种智能指针&#xff0c;‌它允许多个shared_ptr实例共享同一个对象&#xff0c;‌通过引用计数来管理对象的生命周期。‌当最后一个持有对象的shared_ptr被销毁时&#xff0c;‌它会自动删除所指向的对象。‌这种智能指针主要用于解决资源管理问题&…

Qt遇到qt自身组件找不到

比如在使用qtcharts的时候&#xff0c;找不到 解决方法&#xff1a; 在cmakelist中添加 find_package(Qt${QT_VERSION_MAJOR} COMPONENTS Charts REQUIRED) 是一个 CMake 命令&#xff0c;用于查找并配置 Qt 库中的特定组件。这条命令的作用是找到 Qt 的主要版本&#xff08;…

ElasticSearch搜索

ES搜索 elastic search 一套搜索引擎技术,主要技术栈包括 Elasticsearch&#xff1a;用于数据存储、计算和搜索 Kibana&#xff1a;用于数据可视化 在数据库模糊查询中,因为不走索引,所以效率很低,而在搜索引擎中,不仅效率高,而且即使出现个别错字,或者用拼音搜索,甚至用同…

路径规划 | Q-learning机器人路径规划算法(Matlab)

目录 效果一览基本介绍程序设计参考文献 效果一览 基本介绍 Q-learning机器人路径规划算法 机器人路径规划&#xff0c;机器人路径避障。求解常见的路径规划问题。内含算法的注释&#xff0c;模块化编程。 强化学习中的价值学习算法是一类重要的强化学习算法&#xff0c;它们通…

ntp服务重启报错Failed to restart ntpd.service: Unit is masked.

问题概述&#xff1a; 重启ntp服务报错Failed to restart ntpd.service: Unit is masked&#xff0c;使用systemctl unmask ntpd.service命令关闭屏蔽还是报错Failed to restart ntpd.service: Unit is masked 解决方法&#xff1a; 重装ntp服务 yum remove ntpyum install…

Go 1.19.4 结构体-Day 09

1. 结构体介绍 1.1 什么是结构体 结构体&#xff08;struct&#xff09;是一种用户定义的类型&#xff0c;它由一系列的字段组成&#xff0c;每个字段都有自己的名称和类型。 结构体也是值类型的&#xff0c;就算加了指针也是&#xff0c;只不过是复制的内存地址。 1.2 为什么…