linux————ELK（日志收集系统集群）

目录

一、为什么要使用ELK

二、ELK作用

二、组件

一、elasticsearch

特点

二、logstash

工作过程

INPUT（输入）

FILETER(过滤)

OUTPUTS（输出）

三、kibana

三、架构类型

ELK

ELKK

ELFK

ELFKK

EFK

四、构建ELk集群

一、环境配置

二、安装node1与node2节点的elasticsearch

三、在node1安装elasticsearch-head插件

四、node1服务器安装logstash

五、logstash日志收集文件格式（默认存储在/etc/logstash/conf.d）

六、node1节点安装kibana

一、为什么要使用ELK

        日志对于分析系统、应用的状态十分重要，但一般日志的量会比较大，并且比较分散。

        如果管理的服务器或者程序比较少的情况我们还可以逐一登录到各个服务器去查看、分析。但如果服务器或者程序的数量比较多了之后这种方法就显得力不从心。基于此，一些集中式的日志系统也就应用而生。目前比较有名成熟的有，Splunk(商业)、FaceBook 的Scribe、Apache的Chukwa Cloudera的Fluentd、还有ELK等等。

二、ELK作用

        日志收集
        日志分析
        日志可视化

二、组件

一、elasticsearch

        日志分析        开源的日志收集、分析、存储程序

特点

        分布式
        零配置
        自动发现
        索引自动分片
        索引副本机制
        Restful风格接口
        多数据源
        自动搜索负载

二、logstash

        日志收集        搜集、分析、过滤日志的工具

工作过程

        一般工作方式为c/s架构，Client端安装在需要收集日志的服务器上，Server端负责将收到的各节点日志进行过滤、修改等操作，再一并发往Elasticsearch上去

        Inputs → Filters → Outputs

        输入-->过滤-->输出

INPUT（输入）

        File：        从文件系统的文件中读取，类似于tail -f命令

        Syslog：        在514端口上监听系统日志消息，并根据RFC3164标准进行解析

        Redis：        从redis service中读取

        Beats：        从filebeat中读取

FILETER(过滤)

        Grok：        解析任意文本数据，Grok 是 Logstash 最重要的插件。它的主要作用就是将文本格式的字符串，转换成为具体的结构化的数据，配合正则表达式使用。

        官方提供的grok表达式：        logstash-patterns-core/patterns at main · logstash-plugins/logstash-patterns-core · GitHub

        Grok在线调试：        Grok Debugger

        Mutate：        对字段进行转换。例如对字段进行删除、替换、修改、重命名等。

        Drop：        丢弃一部分Events不进行处理。

        Clone：        拷贝Event，这个过程中也可以添加或移除字段。

        Geoip：        添加地理信息(为前台kibana图形化展示使用)

OUTPUTS（输出）

　　Elasticsearch：        可以高效的保存数据，并且能够方便和简单的进行查询。
　　File：        将Event数据保存到文件中。
　　Graphite：        将Event数据发送到图形化组件中，踏实一个当前较流行的开源存储图形化展示的组件。

三、kibana

        日志可视化

        为Logstash和ElasticSearch在收集、存储的日志基础上进行分析时友好的Web界面，可以帮助汇总、分析和搜索重要数据日志。

三、架构类型

ELK

        es
        logstash
        kibana

ELKK

        es
        logstash
        kafka
        kibana

ELFK

        es
        logstash            重量级            占用系统资源较多
        filebeat            轻量级            占用系统资源较少
        kibana

ELFKK

        es
        logstash
        filebeat
        kafka
        kibana

EFK

        es
        logstash
        fluentd
        kafka
        kibana

四、构建ELk集群

        基于Java环境yum install -y java-1.8.0-OpenJDK)  

        虚拟机        内存4G  四核

        已经下载好的         tar包

一、环境配置

        关闭防火墙，selinux 

        设置各个主机的IP地址为静态IP，两个节点中修改主机名为node1和node2并设置hosts文件

node1：192.168.100.10/24

        hostnamectl set-hostname node1

        vim /etc/hosts

                192.168.1.1  node1

                192.168.1.2  node2

node2：192.168.100.11/24

        hostnamectl set-hostname node2

        vim /etc/hosts

                192.168.1.1  node1

                192.168.1.2  node2

二、安装node1与node2节点的elasticsearch

        安装        rpm -ivh elasticsearch-5.5.0.rpm

配置                vim /etc/elasticsearch/elasticsearch.yml

cluster.name:my-elk-cluster  //集群名称   

node.name:node1 //节点名字

path.data:/var/lib/elasticsearch  //数据存放路径

path.logs： /var/log/elasticsearch/  //日志存放路径

bootstrap.memory_lock:false //在启动的时候不锁定内存

network.host:0.0.0.0  //提供服务绑定的IP地址，0.0.0.0代表所有地址

http.port:9200 //侦听端口为9200

discovery.zen.ping.unicast.hosts：【"node1"，"node2"】 //群集发现通过单播实现

node2：

vim /etc/elasticsearch/elasticsearch.yml

cluster.name:my-elk-cluster  //集群名称   

node.name:node2 //节点名字

path.data:/var/lib/elasticsearch  //数据存放路径

path.logs： /var/log/elasticsearch/  //日志存放路径

bootstrap.memory_lock:false //在启动的时候不锁定内存

network.host:0.0.0.0  //提供服务绑定的IP地址，0.0.0.0代表所有地址

http.port:9200 //侦听端口为9200

discovery.zen.ping.unicast.hosts：【"node1"，"node2"】 //群集发现通过单播实现

启动elasticsearch服务

node1和node2

systemctl start elasticsearch

查看节点信息

192.168.100.10：9200

192.168.100.11：9200

三、在node1安装elasticsearch-head插件

安装node

cd elk

tar xf node-v8.2.1.tar.gz

cd node-v8.2.1

./configure && make  -j4&& make install

拷贝命令

cd elk

tar xf phantomjs-2.1.1-linux-x86_64.tar.bz2

cd phantomjs-2.1.1-linux-x86_64/bin

cp phantomjs  /usr/local/bin

安装elasticsearch-head

cd elk

tar xf elasticsearch-head.tar.gz

cd elasticsearch-head

npm install(npm 由node包生成）

修改elasticsearch配置文件
vim /etc/elasticsearch/elasticsearch.yml
#action.destructive_requires_name:true 
http.cors.enabled: true  //开启跨域访问支持，默认为false
http.cors.allow-origin:"*"  //跨域访问允许的域名地址
重启服务： systemctl restart elasticsearch

启动elasticsearch-head

cd /root/elk/elasticsearch-head

npm run start &

查看监听： netstat -anput | grep :9100

访问： 192.168.100.10:9100

测试

在node1的终端中输入：

curl  -XPUT  'localhost:9200/index-demo/test/1?pretty&pretty' -H  'Content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'

刷新浏览器可以看到对应信息即可

四、node1服务器安装logstash

cd  elk

rpm -ivh logstash-5.5.1.rpm

systemctl start logstash.service

In -s /usr/share/logstash/bin/logstash  /usr/local/bin/

测试1： 标准输入与输出

logstash -e 'input{ stdin{} }output { stdout{} }'

测试2： 使用rubydebug解码

logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug }}'

测试3：输出到elasticsearch

logstash -e 'input { stdin{} } output { elasticsearch{ hosts=>["192.168.1.1:9200"]} }'

  查看结果：192.168.100.10：9100

五、logstash日志收集文件格式（默认存储在/etc/logstash/conf.d）

        Logstash配置文件基本由三部分组成：input、output以及 filter（根据需要）。标准的配置文件格式如下：

input (...)  输入

filter {...}   过滤

output {...}  输出

在每个部分中，也可以指定多个访问方式。例如，若要指定两个日志来源文件，则格式如下：

input {

file{path =>"/var/log/messages" type =>"syslog"}

file { path =>"/var/log/apache/access.log"  type =>"apache"}

}

        通过logstash收集系统信息日志

chmod o+r /var/log/messages

vim /etc/logstash/conf.d/system.conf

input {

file{

path =>"/var/log/messages" 

type => "system"

start_position => "beginning"

}

}

output {

elasticsearch{

hosts =>["192.168.100.10:9200"]

index => "system-%{+YYYY.MM.dd}"

}

}

重启日志服务： systemctl restart logstash

查看日志： 192.168.100.10：9100

六、node1节点安装kibana

cd elk

rpm -ivh kibana-5.5.1-x86_64.rpm

配置kibana

vim /etc/kibana/kibana.yml

server.port：5601  //Kibana打开的端口

server.host："0.0.0.0" //Kibana侦听的地址

elasticsearch.url： "http：//192.168.8.134:9200"  

//和Elasticsearch 建立连接

kibana.index：".kibana"  //在Elasticsearch中添加.kibana索引

启动kibana

systemctl start kibana

访问kibana : 192.168.100.10：5601

首次访问需要添加索引，我们添加前面已经添加过的索引：system-*

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/113483.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Apache的简单介绍（LAMP架构+搭建Discuz论坛）

Apache的简单介绍（LAMP架构+搭建Discuz论坛）

文章目录 1.Apache概述1.1什么是apache1.2 apache的功能及特性1.2.1功能1.2.2特性 1.3 MPM 工作模式1.3.1 prefork模式1.3.2 worker模式1.3.3 event模式 2.LAMP概述2.1 LAMP的组成2.2 LAMP各组件的主要作用2.3 LAMP的工作过程2.4CGI和FastCGI 3.搭建Discuz论坛所需4.编译安装Ap…
阅读更多...
Mysql中explain执行计划信息中字段详解

Mysql中explain执行计划信息中字段详解

Mysql中explain执行计划信息中字段详解 1. 获取执行计划2. 字段含义2.1 id2.2 select_type2.3 table2.4 partitions2.5 type2.6 possible_keys2.7 key2.8 ley_len2.9 ref2.10 rows2.11 extra 1. 获取执行计划 explain select * from t5; --或 desc select * from t5;2. 字段含…
阅读更多...
滑动窗口实例1（长度最小的子数组）

滑动窗口实例1（长度最小的子数组）

题目： 给定一个含有 n 个正整数的数组和一个正整数 target 。 找出该数组中满足其和 ≥ target 的长度最小的 连续子数组 [numsl, numsl1, ..., numsr-1, numsr] ，并返回其长度。如果不存在符合条件的子数组，返回 0 。 示例 1： …
阅读更多...
zookeeper 3.8.1安装和入门使用

zookeeper 3.8.1安装和入门使用

1、zookeeper环境搭建（Windows单机版） 1.1、 前提 必须安装jdk 1.8，配置jdk环境变量，步骤略 1.2、安装zookeeper 地址：https://zookeeper.apache.org/ 1.2.1、选择releases版本 1.2.2、下载安装包并解压 1.2.3、配…
阅读更多...
前端文件、图片直传OOS、分片上传、el-upload上传（vue+elementUI）

前端文件、图片直传OOS、分片上传、el-upload上传（vue+elementUI）

前言：基于天翼云的面相对象存储(Object-Oriented Storage，OOS),实现小文件的直接上传，大文件的分片上传。 开发文档地址：网址 上传之前的相关操作：注册账户，创建 AccessKeyId 和 AccessSecretKey之后&…
阅读更多...
企业怎么优化固定资产管理

企业怎么优化固定资产管理

在优化固定资产管理的过程中，不仅要关注硬件设备和设施的维护，还要重视软件系统和数据管理。一些可能的方法：　　需要建立一套完整的资产管理系统。这个系统应该包括资产的采购、登记、使用、维修、报废等各个环节的管理流程。通过这个系统&a…
阅读更多...
智慧工地源码带开发手册文档 app 数据大屏、硬件对接、萤石云

智慧工地源码带开发手册文档 app 数据大屏、硬件对接、萤石云

智慧工地解决方案依托计算机技术、物联网、云计算、大数据、人工智能、VR、AR等技术相结合，为工程项目管理提供先进技术手段，构建工地现场智能监控和控制体系，弥补传统方法在监管中的缺陷，最终实现项目对人、机、料、法、环的全方…
阅读更多...
Windows安装FFmpeg说明

Windows安装FFmpeg说明

下载地址 官网 Download FFmpeg Csdn ffmpeg安装包，ffmpeg-2023-08-28-git-b5273c619d-full-build.7z资源-CSDN文库 解压安装，添加环境变量 命令行输入ffmpeg 安装成功
阅读更多...
【mysql】MySQL服务无法启动 NET HELPMSG 3534

【mysql】MySQL服务无法启动 NET HELPMSG 3534

MySQL服务无法启动 NET HELPMSG 3534 错误描述寻找原因解决方法 错误描述 mysql版本：8.1.0 mysql安装成功之后，使用net start mysql来启动mysql，然后出现了报错 MySQL服务无法启动 NET HELPMSG 3534 寻找原因 1、在cmd中，进入…
阅读更多...
React 如何获取上一次 state 的值

React 如何获取上一次 state 的值

React 如何获取上一次 state 的值 一、用 ref 存储上一次的 state 类似 usePrevious function usePrevious(value) {const ref useRef();useEffect(() > {ref.current value;});return ref.current; }二、通过 setState 的入参改为函数获取
阅读更多...
electron win系统通知修改通知标题栏

electron win系统通知修改通知标题栏

标题栏的 electron.app.Electron 如何修改： var package require("../package.json"); app.setAppUserModelId(package.description); app.setAppUserModelId 在主进程的app这里修改
阅读更多...
Flutter 混合开发调试

Flutter 混合开发调试

针对Flutter开发的同学来说，大部分的应用还是Native Flutter的混合开发，所以每次改完Flutter代码，运行整个项目无疑是很费时间的。所以Flutter官方也给我们提供了混合调试的方案【在混合开发模式下进行调试】，这里以Android Stud…
阅读更多...
【openEuler创新项目探索】一个Java端的向量化BLAS库VectorBLAS

【openEuler创新项目探索】一个Java端的向量化BLAS库VectorBLAS

VectorBLAS简介 VectorBLAS是一个使用Java语言实现的向量化BLAS高性能库，目前已在openEuler社区开源。 VectorBLAS通过循环展开、矩阵分块和内存布局优化等算法优化，对BLAS函数进行了深度优化，并利用VectorAPI JDK提供的多种向量化API实现。…
阅读更多...
Baklib是比语雀、Notion、石墨文档更好用的在线知识库管理工具

Baklib是比语雀、Notion、石墨文档更好用的在线知识库管理工具

在当今信息爆炸的时代，如何高效地管理和利用知识成为了每个人都面临的问题。在线知识库管理工具应运而生，帮助用户整理、存储和共享知识。在这篇文章中，我将介绍一个更好用的在线知识库管理工具——Baklib，并探讨它相对于其他知识…
阅读更多...
PMAC与Modbus主站进行Modbus Tcp通讯

PMAC与Modbus主站进行Modbus Tcp通讯

PMAC与Modbus主站进行Modbus Tcp通讯 创建modbus通讯参数 在项目的PMAC Script Language\Global Includes下创建一个名为00_Modbus_Para.pmh的pmh文件。 Modbus[0].Config.ServerPort 0 Modbus[0].Config.ConnectTimeOut 6000 Modbus[0].Config.SendRecvTimeOut 0 Modbu…
阅读更多...
利用Jmeter做接口测试（功能测试）全流程分析

利用Jmeter做接口测试（功能测试）全流程分析

利用Jmeter做接口测试怎么做呢？过程真的是超级简单。 明白了原理以后，把零碎的知识点填充进去就可以了。所以在学习的过程中，不管学什么，我一直都强调的是要循序渐进，和明白原理和逻辑。这篇文章就来介绍一下如何利用…
阅读更多...
【机器学习7】特征缩放

【机器学习7】特征缩放

特征缩放 🍀特征缩放的重要性🌱归一化🌱标准化🌱更高级的缩放方法🌸导入数据集&将数据集划分为训练集和测试集🌸Sklearn-Learn算法实现归一化🌸Sklearn-Learn算法实现标准化 🍀特…
阅读更多...
Google登录SDK

Google登录SDK

一、接入的准备工作 官方文档链接地址：开始使用一键登录和注册 按照步骤进行接入即可 二、项目参考（Unity项目） 注意：代码版本如果不适用新的Google API 请自行参考最新版本接口 SDKGoogleSignInActivity 主要用于登录的代码。Un…
阅读更多...
[Linux]进程程序替换

[Linux]进程程序替换

[Linux]进程程序替换 文章目录 [Linux]进程程序替换进程程序替换的意义见一见进程程序替换进程程序替换的原理进程程序替换中的写时拷贝介绍进程程序替换接口 进程程序替换的意义 Linux系统下使用fork系统函数创建子进程后，子进程只能执行继承的部分父进程代码&…
阅读更多...
108页石油石化5G智慧炼化厂整体方案PPT

108页石油石化5G智慧炼化厂整体方案PPT

导读：原文《108页石油石化5G智慧炼化厂整体方案PPT》（获取来源见文尾），本文精选其中精华及架构部分，逻辑清晰、内容完整，为快速形成售前方案提供参考。以下是部分内容，
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023