ELK 企业级日志分析系统 ELFK

目录

一、概述

二、组件介绍

2.1、ElasticSearch

2.2、Kiabana

2.3、Logstash

2.4、可以添加的其它组件：Filebeat

2.5、缓存/消息队列（redis、kafka、RabbitMQ等）

2.6、Fluentd

三、ELK工作原理

四、实例演示

1.ELK之 部署"E"  Elasticsearch

2. ELK之 部署"L"  Logstash（在 Apache 节点上操作）

3. ELK之部署"K"  Kibana服务

4. ELFK之部署"F"  Filebeat

一、概述

ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用， 完成更强大的用户对日志的查询、排序、统计需求。

使用ELK日志文件系统的原因：日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。
往往单台机器的日志我们使用grep、awk等工具就能基本实现简单分析，但是当日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用 grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。

完整日志系统基本特征

收集：能够采集多种来源的日志数据
传输：能够稳定的把日志数据解析过滤并传输到存储系统
存储：存储日志数据
分析：支持 UI 分析
警告：能够提供错误报告，监控机制

二、组件介绍

2.1、ElasticSearch

ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。
Elasticsearch 是用 Java 开发的，可通过 RESTful Web 接口，让用户可以通过浏览器与 Elasticsearch 通信。
Elasticsearch是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大容量的日志数据，也可用于搜索许多不同类型的文档。

数据存储的方式类似于redis的cluster集群，对数据进行了分片，并且每个片都会有相应的副本

核心特点：

1、接近实时（NRT）：搜索速度非常的快，轻微的延迟

2、集群（cluster）：集群有一个唯一标志的名字，默认Elasticasearch，将一个或多个节点组织在一起，组成一个cluster的集群，每个节点基于集群名字加入到集群中，且在集群中使用自己的名字来身份标识。

3、节点（node）：每一个节点就是一台单台服务器

4、索引（index）：一个索引由一个名字来标识（必须全部是小写字母），并且当我们要多对应这个索引中的文档进行索引、更新、删除的时候，都要使用到这个名字。

6、类型（type）：在一个索引中，你可以定义一个或多种类型。比如：当我们存储一个购物平台的数据时，可以定义一个用户数据类型，产品数据类型等

7、文档（document）：一个文档是一个可被索引的基础信息单元

分片与副本：

分片：为了解决索引存储的数据可能超过单个节点的硬件限制，ES提供了将索引分成多个分片的功能，当在创建索引时，可以定义想要的分片数量，每一个分片就是一个全功能独立的索引。

分片的优点：1、水平分割扩展，增大了存储量。 2、分布式跨越分片操作，提高性能和吞吐量

副本：为了健壮性，高可用性，可以故障切换。es将分片复制一份或多份放在不同的节点主机上，称为分片副本

副本的优点：1、高可用，以应对分片或者节点故障，出于这个原因，分片副本要在不同的节点上。 2、加强性能，增强吞吐量，搜索可以并行在所有副本上执行


总结：对logstash过滤的数据进行索引和存储

2.2、Kiabana

Kiabana：Kibana 通常与 Elasticsearch 一起部署，Kibana 是 Elasticsearch 的一个功能强大的数据可视化 Dashboard，Kibana 提供图形化的 web 界面来浏览 Elasticsearch 日志数据，可以用来汇总、分析和搜索重要数据。

主要特点：

1、Elasticsearch无缝之集成

2、整合数据

3、接口灵活，分享容易

4、配置简单

5、可视化多数据源

6、简单数据导出

7、让更多团队成员收益

总结：将elasticsearch服务中存储的数据以可视化的方式展示给用户

2.3、Logstash

Logstash：作为数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置,一般会发送给 Elasticsearch。
Logstash 由 Ruby 语言编写，运行在 Java 虚拟机（JVM）上，是一款强大的数据处理工具， 可以实现数据传输、格式处理、格式化输出。Logstash 具有强大的插件功能，常用于日志处理。

由三个组件组成：  input（数据采集）  filter（数据过滤）  output(数据输出)

主要组件：

Shipper(日志收集)：负责监控本地日志文件的变化，及时把日志文件的最新内容收集起来。通常远程代理端（agent）只需要运行这个组件即可
Indexer(日志存储)：负责接收日志并写入到本地文件
Broker(日志Hub)：负责连接多个Shipper和多个Indexer
Search and Storage：允许对事件进行搜索和存储
Web Interface：基于Web的展示界面

总结：对集中的日志数据进行采集，并且格式化数据后，输出给elasticsearch中

2.4、可以添加的其它组件：Filebeat

Filebeat：轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat，并指定目录与日志格式，Filebeat 就能快速收集数据，并发送给 logstash 进或是直接发给 Elasticsearch 存储，性能上相比运行于 JVM 上的 logstash 优势明显，是对它的替代。常应用于 EFLK 架构当中。行解析。

filebeat的工作原理：

Filebeat可以保持每个文件的状态，并且频繁的把文件状态从注册表里更新到磁盘，这里所说的文件状态是用来记录上一次Harvaster读取文件时，读取到的位置，以保证能把全部的日志都读取出来，然后发给output。

如果在某一时刻，作为output的Elasticsearch或则Logstash变成了不可用，Filebeat将会把最后的文件读取位置保存下来，直到output重新可用的时候，快速地恢复文件数据的读取。

在Filebeat运行过程中，每个Prospector的状态信息都会保存在内存里，如果Filebeat出现了重启，完成重启之后，会从注册表文件里恢复重启之间的状态信息，让Filebeat继续从之间已知的位置开始进行读取数据。

filebeat和logstash的区别：

因为logstash是jvm跑的，资源消耗比较大，启动一个logstash就需要消耗500M左右的内存（这就是为什么logstash启动特别慢的原因）。
而filebeat只需要10M左右的内存资源。
常用的ELK日志采集方案中，大部分的做法就是将所有节点的日志内容通过filebeat发送到logstash，lostash根据配置文件进行过滤，然后将过滤之后的文件传输到elasticsearch中，最后通过kibana展示。

Filebeat结合logstash带来的好处：

（1）通过 Logstash 具有基于磁盘的自适应缓冲系统，该系统将吸收传入的吞吐量，从而减轻 Elasticsearch 持续写入数据的压力。

（2）从其他数据源（例如数据库，S3对象存储或消息传递队列）中提取

（3）将数据发送到多个目的地，例如S3，HDFS（Hadoop分布式文件系统）或写入文件

（4）使用条件数据流逻辑组成更复杂的处理管道

2.5、缓存/消息队列（redis、kafka、RabbitMQ等）

可以对高并发日志数据进行流量削峰和缓冲，这样的缓冲可以一定程度的保护数据不丢失，还可以对整个架构进行应用解耦。

2.6、Fluentd

是一个流行的开源数据收集器。由于 logstash 太重量级的缺点，Logstash 性能低、资源消耗比较多等问题，随后就有 Fluentd 的出现。相比较 logstash，Fluentd 更易用、资源消耗更少、性能更高，在数据处理上更高效可靠，受到企业欢迎，成为 logstash 的一种替代方案，常应用于 EFK 架构当中。在 Kubernetes 集群中也常使用 EFK 作为日志数据收集的方案。
在 Kubernetes 集群中一般是通过 DaemonSet 来运行 Fluentd，以便它在每个 Kubernetes 工作节点上都可以运行一个 Pod。 它通过获取容器日志文件、过滤和转换日志数据，然后将数据传递到 Elasticsearch 集群，在该集群中对其进行索引和存储。

三、ELK工作原理

（1）在所有需要收集日志的服务器上部署Logstash；或者先将日志进行集中化管理在日志服务器上，在日志服务器上部署 Logstash。
（2）Logstash 收集日志，将日志格式化并输出到 Elasticsearch 群集中。
（3）Elasticsearch 对格式化后的数据进行索引和存储。
（4）Kibana 从 ES 群集中查询数据生成图表，并进行前端数据的展示。

总结：logstash作为日志搜集器，从数据源采集数据，并对数据进行过滤，格式化处理，然后交由Elasticsearch存储，kibana对日志进行可视化处理。

input ：数据采集
output ：数据输出
filter ：数据过滤

四、实例演示

ip地址服务
node1 (mysql2)192.168.11.22elasticsearch
node2 (mysql3)192.168.11.23elasticsearch elasticsearch-head kibana
mysql3 (客户端)192.168.11.24apache logstash
192.168.11.10 (客户端)192.168.11.12filebeat

代码演示：

Node1节点（2C/4G）：node1/192.168.10.13					Elasticsearch  Kibana
Node2节点（2C/4G）：node2/192.168.10.14					Elasticsearch
Apache节点：apache/192.168.10.15						Logstash  Apachesystemctl stop firewalld
setenforce 0
------------------- ELK Elasticsearch 集群部署（在Node1、Node2节点上操作） ----------------------------------
1．环境准备
#更改主机名、配置域名解析、查看Java环境
Node1节点：hostnamectl set-hostname node1
Node2节点：hostnamectl set-hostname node2vim /etc/hosts
192.168.10.13 node1 
192.168.10.14 node2   注：版本问题
java -version										#如果没有安装，yum -y install java
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)建议使用jdk2．部署 Elasticsearch 软件
（1）安装elasticsearch—rpm包
#上传elasticsearch-5.5.0.rpm到/opt目录下
cd /opt
rpm -ivh elasticsearch-5.5.0.rpm （2）加载系统服务
systemctl daemon-reload    
systemctl enable elasticsearch.service（3）修改elasticsearch主配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
vim /etc/elasticsearch/elasticsearch.yml
--17--取消注释，指定集群名字
cluster.name: my-elk-cluster
--23--取消注释，指定节点名字：Node1节点为node1，Node2节点为node2
node.name: node1
--33--取消注释，指定数据存放路径
path.data: /data/elk_data
--37--取消注释，指定日志存放路径
path.logs: /var/log/elasticsearch/
--43--取消注释，改为在启动的时候不锁定内存
bootstrap.memory_lock: false
--55--取消注释，设置监听地址，0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释，ES 服务的默认监听端口为9200
http.port: 9200
--68--取消注释，集群发现通过单播实现，指定要发现的节点 node1、node2
discovery.zen.ping.unicast.hosts: ["node1", "node2"]grep -v "^#" /etc/elasticsearch/elasticsearch.yml（4）创建数据存放路径并授权
mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/（5）启动elasticsearch是否成功开启
systemctl start elasticsearch.service
netstat -antp | grep 9200（6）查看节点信息
浏览器访问  http://192.168.10.13:9200  、 http://192.168.10.14:9200 查看节点 Node1、Node2 的信息。浏览器访问 http://192.168.10.13:9200/_cluster/health?pretty  、 http://192.168.10.14:9200/_cluster/health?pretty查看群集的健康情况，可以看到 status 值为 green（绿色）， 表示节点健康运行。浏览器访问 http://192.168.10.13:9200/_cluster/state?pretty  检查群集状态信息。#使用上述方式查看群集的状态对用户并不友好，可以通过安装 Elasticsearch-head 插件，可以更方便地管理群集。3．安装 Elasticsearch-head 插件
Elasticsearch 在 5.0 版本后，Elasticsearch-head 插件需要作为独立服务进行安装，需要使用npm工具（NodeJS的包管理工具）安装。
安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs。
node：是一个基于 Chrome V8 引擎的 JavaScript 运行环境。
phantomjs：是一个基于 webkit 的JavaScriptAPI，可以理解为一个隐形的浏览器，任何基于 webkit 浏览器做的事情，它都可以做到。（1）编译安装 node
#上传软件包 node-v8.2.1.tar.gz 到/opt
yum install gcc gcc-c++ make -ycd /opt
tar zxvf node-v8.2.1.tar.gzcd node-v8.2.1/
./configure
make && make install（2）安装 phantomjs（前端的框架）
#上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到
cd /opt
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin（3）安装 Elasticsearch-head 数据可视化工具
#上传软件包 elasticsearch-head.tar.gz 到/opt
cd /opt
tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/
cd /usr/local/src/elasticsearch-head/
npm install（4）修改 Elasticsearch 主配置文件
vim /etc/elasticsearch/elasticsearch.yml
......
--末尾添加以下内容--
http.cors.enabled: true				#开启跨域访问支持，默认为 false
http.cors.allow-origin: "*"			#指定跨域访问允许的域名地址为所有systemctl restart elasticsearch（5）启动 elasticsearch-head 服务
#必须在解压后的 elasticsearch-head 目录下启动服务，进程会读取该目录下的 gruntfile.js 文件，否则可能启动失败。
cd /usr/local/src/elasticsearch-head/
npm run start &> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt serverRunning "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100#elasticsearch-head 监听的端口是 9100
netstat -natp |grep 9100（6）通过 Elasticsearch-head 查看 Elasticsearch 信息
通过浏览器访问 http://192.168.10.13:9100/ 地址并连接群集。如果看到群集健康值为 green 绿色，代表群集很健康。（7）插入索引
#通过命令插入一个测试索引，索引为 index-demo，类型为 test。//输出结果如下：curl -X PUT 'localhost:9200/index-demo1/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'{
"_index" : "index-demo",
"_type" : "test",
"_id" : "1",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 2,
"failed" : 0
},
"created" : true
}浏览器访问 http://192.168.10.13:9100/ 查看索引信息，可以看见索引默认被分片5个，并且有一个副本。
点击“数据浏览”，会发现在node1上创建的索引为 index-demo，类型为 test 的相关信息。---------------------- ELK Logstash 部署（在 Apache 节点上操作） ----------------------------------------
Logstash 一般部署在需要监控其日志的服务器。在本案例中，Logstash 部署在 Apache 服务器上，用于收集 Apache 服务器的日志信息并发送到 Elasticsearch。1．更改主机名
hostnamectl set-hostname apache2．安装Apahce服务（httpd）
yum -y install httpd
systemctl start httpd3．安装Java环境
yum -y install java
java -version4．安装logstash
#上传软件包 logstash-5.5.1.rpm 到/opt目录下
cd /opt
rpm -ivh logstash-5.5.1.rpm                           
systemctl start logstash.service                      
systemctl enable logstash.serviceln -s /usr/share/logstash/bin/logstash /usr/local/bin/5．测试 Logstash
Logstash 命令常用选项：
-f：通过这个选项可以指定 Logstash 的配置文件，根据配置文件配置 Logstash 的输入和输出流。
-e：从命令行中获取，输入、输出后面跟着字符串，该字符串可以被当作 Logstash 的配置（如果是空，则默认使用 stdin 作为输入，stdout 作为输出）。
-t：测试配置文件是否正确，然后退出。定义输入和输出流：
#输入采用标准输入，输出采用标准输出（类似管道）
logstash -e 'input { stdin{} } output { stdout{} }'
......
www.baidu.com										#键入内容（标准输入）
2020-12-22T03:58:47.799Z node1 www.baidu.com		#输出结果（标准输出）
www.sina.com.cn										#键入内容（标准输入）
2017-12-22T03:59:02.908Z node1 www.sina.com.cn		#输出结果（标准输出）//执行 ctrl+c 退出#使用 rubydebug 输出详细格式显示，codec 为一种编解码器
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
......
www.baidu.com										#键入内容（标准输入）
{"@timestamp" => 2020-12-22T02:15:39.136Z,		#输出结果（处理后的结果）"@version" => "1","host" => "apache","message" => "www.baidu.com"
}#使用 Logstash 将信息写入 Elasticsearch 中
logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.10.13:9200"] } }'输入				输出			对接
......
www.baidu.com										#键入内容（标准输入）
www.sina.com.cn										#键入内容（标准输入）
www.google.com										#键入内容（标准输入）//结果不在标准输出显示，而是发送至 Elasticsearch 中，可浏览器访问 http://192.168.10.13:9100/ 查看索引信息和数据浏览。6．定义 logstash配置文件
Logstash 配置文件基本由三部分组成：input、output 以及 filter（可选，根据需要选择使用）。
input：表示从数据源采集数据，常见的数据源如Kafka、日志文件等
filter：表示数据处理层，包括对数据进行格式化处理、数据类型转换、数据过滤等，支持正则表达式
output：表示将Logstash收集的数据经由过滤器处理之后输出到Elasticsearch。#格式如下：
input {...}
filter {...}
output {...}#在每个部分中，也可以指定多个访问方式。例如，若要指定两个日志来源文件，则格式如下：
input {file { path =>"/var/log/messages" type =>"syslog"}file { path =>"/var/log/httpd/access.log" type =>"apache"}
}#修改 Logstash 配置文件，让其收集系统日志/var/log/messages，并将其输出到 elasticsearch 中。
chmod +r /var/log/messages					#让 Logstash 可以读取日志vim /etc/logstash/conf.d/system.conf
input {file{path =>"/var/log/messages"						#指定要收集的日志的位置type =>"system"									#自定义日志类型标识start_position =>"beginning"					#表示从开始处收集}
}
output {elasticsearch {										#输出到 elasticsearchhosts => ["192.168.10.13:9200"]					#指定 elasticsearch 服务器的地址和端口index =>"system-%{+YYYY.MM.dd}"					#指定输出到 elasticsearch 的索引格式}
}systemctl restart logstash 浏览器访问 http://192.168.10.13:9100/ 查看索引信息---------------------- ELK Kiabana 部署（在 Node1 节点上操作） ----------------------------------------
1．安装 Kiabana
#上传软件包 kibana-5.5.1-x86_64.rpm 到/opt目录
cd /opt
rpm -ivh kibana-5.5.1-x86_64.rpm2．设置 Kibana 的主配置文件
vim /etc/kibana/kibana.yml
--2--取消注释，Kiabana 服务的默认监听端口为5601
server.port: 5601
--7--取消注释，设置 Kiabana 的监听地址，0.0.0.0代表所有地址
server.host: "0.0.0.0"
--21--取消注释，设置和 Elasticsearch 建立连接的地址和端口
elasticsearch.url: "http://192.168.10.13:9200" 
--30--取消注释，设置在 elasticsearch 中添加.kibana索引
kibana.index: ".kibana"3．启动 Kibana 服务
systemctl start kibana.service
systemctl enable kibana.servicenetstat -natp | grep 56014．验证 Kibana
浏览器访问 http://192.168.10.13:5601
第一次登录需要添加一个 Elasticsearch 索引：
Index name or pattern
//输入：system-*			#在索引名中输入之前配置的 Output 前缀“system”单击 “create” 按钮创建，单击 “Discover” 按钮可查看图表信息及日志信息。
数据展示可以分类显示，在“Available Fields”中的“host”，然后单击 “add”按钮，可以看到按照“host”筛选后的结果5．将 Apache 服务器的日志（访问的、错误的）添加到 Elasticsearch 并通过 Kibana 显示
vim /etc/logstash/conf.d/apache_log.conf
input {file{path => "/etc/httpd/logs/access_log"type => "access"start_position => "beginning"}file{path => "/etc/httpd/logs/error_log"type => "error"start_position => "beginning"}
}
output {if [type] == "access" {elasticsearch {hosts => ["192.168.10.13:9200"]index => "apache_access-%{+YYYY.MM.dd}"}}if [type] == "error" {elasticsearch {hosts => ["192.168.10.13:9200"]index => "apache_error-%{+YYYY.MM.dd}"}}
}cd /etc/logstash/conf.d/
/usr/share/logstash/bin/logstash -f apache_log.conf浏览器访问 http://192.168.10.13:9100 查看索引是否创建浏览器访问 http://192.168.10.13:5601 登录 Kibana，单击“Create Index Pattern”按钮添加索引， 在索引名中输入之前配置的 Output 前缀 apache_access-*，并单击“Create”按钮。在用相同的方法添加 apache_error-*索引。
选择“Discover”选项卡，在中间下拉列表中选择刚添加的 apache_access-* 、apache_error-* 索引， 可以查看相应的图表及日志信息。

1.ELK之 部署"E"  Elasticsearch

两台node服务器同步操作：

 此处不是同步操作，在此处注意修改node.name行的时候，node1和node2不一样，要修改！！！

 

浏览器访问，查看节点信息,（这是elasticsearch原本的视图界面，很简陋，不方便）

 

安装Elasticsearch-head 插件

Elasticsearch 在 5.0 版本后，Elasticsearch-head 插件需要作为独立服务进行安装，需要使用npm工具（NodeJS的包管理工具）安装。
安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs。
node：是一个基于 Chrome V8 引擎的 JavaScript 运行环境。
phantomjs：是一个基于 webkit 的JavaScriptAPI，可以理解为一个隐形的浏览器，任何基于 webkit 浏览器做的事情，它都可以做到。

1、编译安装 node

把安装elasticsearch-head所需要的前置插件的安装包上传到opt目录下

安装 phantomjs（前端的框架） 

（3）安装 Elasticsearch-head 数据可视化工具

 （4）修改 Elasticsearch 主配置文件

（5）启动 elasticsearch-head 服务 

必须在解压后的 elasticsearch-head 目录下启动服务，进程会读取该目录下的 gruntfile.js 文件，否则可能启动失败。

（6）通过 Elasticsearch-head 查看 Elasticsearch 信息 

（7）插入索引

通过命令插入一个测试索引，索引为 index-demo，类型为 test

输出结果如下：curl -X PUT 'localhost:9200/index-demo1/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'

2. ELK之 部署"L"  Logstash（在 Apache 节点上操作）

Logstash 一般部署在需要监控其日志的服务器。在本案例中，Logstash 部署在 Apache 服务器上，用于收集 Apache 服务器的日志信息并发送到 Elasticsearch。

使用 rubydebug 输出详细格式显示，codec 为一种编解码器

 修改 Logstash 配置文件，让其收集系统日志/var/log/messages，并将其输出到 elasticsearch 中。

 访问192.168.11.23:9100查看Elasticsearch存储的日志索引信息

3. ELK之部署"K"  Kibana服务

 ​​​​

 

 

 

 

4. ELFK之部署"F"  Filebeat

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/133929.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Leetcode 剑指Offer

Leetcode 剑指Offer

求 12...n ，要求不能使用乘除法、for、while、if、else、switch、case等关键字及条件判断语句（A?B:C）。 示例 1： 输入: n 3 输出: 6示例 2： 输入: n 9 输出: 45 一、信息 1.求一个等差数列的求和 2.要求不能使…
阅读更多...
lua环境搭建数据类型

lua环境搭建数据类型

lua作为一门计算机语言，从语法角度个人感觉还是挺简洁的接下来我们从0开始学习lua语言。 1.首先我们需要下载lua开发工具包 在这里我们使用的工具是luadist 下载链接为：https://luadist.org/repository/下载后的压缩包解压后就能用。 2.接下来就是老生…
阅读更多...
ARM 相关概念2

ARM 相关概念2

一、汇编中三种符号（汇编指令、伪指令、伪操作） 二、汇编基本格式 三、数据操作指令 3.1 数据搬移指令mov/mvn ① 示例 ② 立即数 0xff000000 >判断的数 1111 1111 0000 0000 0000 0000 0000 0000 >判断的数 0000 0000 0000 0000 0000 0000 1111…
阅读更多...
企业架构LNMP学习笔记51

企业架构LNMP学习笔记51

企业案例使用： 主从模式： 缓存集群结构示意图： 去实现Redis的业务分离： 读的请求分配到从服务器上，写的请求分配到主服务器上。 Redis是没有中间件来进行分离的。 是通过业务代码直接来进行读写分离。 准备两台虚…
阅读更多...
华为云云耀云服务器L实例评测｜部署前后端分离项目

华为云云耀云服务器L实例评测｜部署前后端分离项目

✅作者简介：大家好，我是Leo，热爱Java后端开发者，一个想要与大家共同进步的男人😉😉 🍎个人主页：Leo的博客 💞当前专栏： 学习测评 ✨特色专栏： MyS…
阅读更多...
2022年全国研究生数学建模竞赛华为杯D题PISA架构芯片资源排布问题求解全过程文档及程序

2022年全国研究生数学建模竞赛华为杯D题PISA架构芯片资源排布问题求解全过程文档及程序

2022年全国研究生数学建模竞赛华为杯 D题 PISA架构芯片资源排布问题 原题再现： 一、背景介绍 芯片是电子行业的基础，在当前日益复杂的国际形势下，芯片成了各个大国必争的高科技技术。本课题关注网络通信领域的交换芯片，传统的交…
阅读更多...
Python爬虫逆向猿人学刷题系列——第七题

Python爬虫逆向猿人学刷题系列——第七题

题目：采集这5页中胜点列的数据，找出胜点最高的召唤师，将召唤师姓名填入答案中 地址：https://match.yuanrenxue.cn/match/7 本题主要是考察字体的动态变化，同样也是从字体文件下手构造出映射关系就好，但本题…
阅读更多...
TuyaOS开发学习笔记（2）——NB-IoT开发SDK架构、运行流程

TuyaOS开发学习笔记（2）——NB-IoT开发SDK架构、运行流程

一、SDK架构 1.1 架构框图 基于 TuyaOS 系统，可以裁剪得到的适用于 NB-IoT 协议产品接入的 SDK。SDK 将设备配网、上下行数据通信、产测授权、固件 OTA 升级等接口进行封装，并提供相关函数。 1.2 目录结构 1.2.1 TuyaOS目录说明 adapter：T…
阅读更多...
70、Spring Data JPA 的 自定义查询（全手动，自己写完整 SQL 语句）

70、Spring Data JPA 的 自定义查询（全手动，自己写完整 SQL 语句）

1、方法名关键字查询（全自动，既不需要提供sql语句，也不需要提供方法体） 2、Query查询（半自动：提供 SQL 或 JPQL 查询） 3、自定义查询（全手动） ★ 自定义查询&#xff08…
阅读更多...
范文展示，如何三步写出一篇满意的论文

范文展示，如何三步写出一篇满意的论文

第一步：输入文章关键信息 文章标题，写论文的话即为拟定的论文标题，例如这篇范文中的题目为“阳明心学研究” 关键词，可以写出多个论文主题相关的关键词，用逗号分开，例如这篇范文中只写了一个关键词“王阳…
阅读更多...
9.12 C++作业

9.12 C++作业

实现一个图形类（Shape），包含受保护成员属性：周长、面积， 公共成员函数：特殊成员函数书写 定义一个圆形类（Circle），继承自图形类，包含私有属性：半…
阅读更多...
长城网络靶场第三题

长城网络靶场第三题

关卡描述：1.oa服务器的内网ip是多少？ 先进行ip统计，开始逐渐查看前面几个ip 基本上都是b/s，所以大概率是http，过滤一下ip 第一个ip好像和oa没啥关系 第二个ip一点开就是 oa，应该就是他了。 关卡描述&a…
阅读更多...
指针-子串逆置

指针-子串逆置

任务描述 从标准输入上读入以空格分隔的字符串 s 和 t，将 s 中与 t 匹配的所有子串逆置后再输出 s，当 s 中无与 t 匹配的子串时直接输出字符串 s。已经匹配的字符不会再重复匹配。 相关知识 参考之前的关卡。 编程要求 根据提示，在右侧编…
阅读更多...
Golang编写自定义IP限流中间件

Golang编写自定义IP限流中间件

目录 基于令牌桶的限流算法实现高并发限流（使用golang官方限流器）Go代码测试记录ab -t 1 -c 1 http://127.0.0.1:8080/api/resource结果预测：1秒内最多生成10个令牌，而总共有20个串行的请求，结果应该是1个成功&#xf…
阅读更多...
CentOS 7.6使用mysql-8.0.31-1.el7.x86_64.rpm-bundle.tar安装Mysql 8.0

CentOS 7.6使用mysql-8.0.31-1.el7.x86_64.rpm-bundle.tar安装Mysql 8.0

https://downloads.mysql.com/archives/community/是社区版的官网，可以选择版本下载。 cat /etc/redhat-release可以看到系统版本是CentOS Linux release 7.6.1810 (Core)，uname -r可以看到版本是3.10.0-957.el7.x86_64。 yum remove -y mysql-libs把…
阅读更多...
来看看Python MetaClass元类详解

来看看Python MetaClass元类详解

MetaClass元类，本质也是一个类，但和普通类的用法不同，它可以对类内部的定义（包括类属性和类方法）进行动态的修改。可以这么说，使用元类的主要目的就是为了实现在创建类时，能够动态地改变类中定义…
阅读更多...
Python3.10 IDLE更换主题

Python3.10 IDLE更换主题

前言 自定义主题网上有很多，3.10IDLE的UI有一些新的东西，直接扣过来会有些地方覆盖不到，需要自己测试着添几行配置，以下做个记录。 配置文件路径 Python安装目录下的Lib\idlelib\config-highlight.def。如果是默认安装&#xf…
阅读更多...
轻松鲨-AI文案写作 人工智能聊天

轻松鲨-AI文案写作 人工智能聊天

轻松鲨AI助手使用地址：http://www.qingsongsha.com?utm_sourcenavigation_website 或前往苹果App Store下载“轻松鲨APP” 支持AI连续对话聊天，帮你解答各种疑问... 让AI帮你画思维导图写文案，提升工作效率... 内置多场景专业模板&#xff0…
阅读更多...
解决 tesserocr报错 Failed to init API, possibly an invalid tessdata path : ./

解决 tesserocr报错 Failed to init API, possibly an invalid tessdata path : ./

问题描述 我们在初次使用tesserocr库的时候，可能会报以下错误： RuntimeError: Failed to init API, possibly an invalid tessdata path: ./ 这是因为我们在使用 conda 创建的环境中找不到"tessdata"这个文件夹。 解决办法 这时候把Tessera…
阅读更多...
品牌是什么？品牌加分秘笈曝光

品牌是什么？品牌加分秘笈曝光

作为一个多年的品牌人，这几年，历经迷惘和探索，迷惘在于： 1.品牌部是花钱部门，不直接创造营收，不受老板重视、钱少。 2.品牌作业难以衡量，一般以曝光、阅读、声量指数等指标来衡量，…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023