【ELK日志收集系统】

目录

一、概述

1.作用

2.为什么使用？

二、组件

1.elasticsearch

1.1 作用

1.2 特点

2.logstash

2.1 作用

2.2 工作过程

2.3 INPUT

2.4 FILETER

2.5 OUTPUTS

3.kibana

三、架构类型

1.ELK

2.ELKK

3.ELFK

4.ELFKK

四、案例 - 构建ELK集群

1.环境配置

2.安装node1与node2节点的elasticsearch

2.1 安装

2.2 配置

2.3 启动elasticsearch服务

2.4 查看节点信息

3.在node1安装elasticsearch-head插件

3.1 安装node

3.2 拷贝命令

3.3 安装elasticsearch-head

3.4 修改elasticsearch配置文件

3.5 启动elasticsearch-head

3.6 访问

3.7 在node1的终端中输入：

4.node1服务器安装logstash

5.ogstash日志收集文件格式（默认存储在/etc/logstash/conf.d）

​编辑

6.node1节点安装kibana

7.企业案例

一、概述

ELK由三个组件构成

1.作用

  • 日志收集
  • 日志分析
  • 日志可视化

2.为什么使用？

  • 日志对于分析系统、应用的状态十分重要，但一般日志的量会比较大，并且比较分散。
  • 如果管理的服务器或者程序比较少的情况我们还可以逐一登录到各个服务器去查看、分析。但如果服务器或者程序的数量比较多了之后这种方法就显得力不从心。基于此，一些集中式的日志系统也就应用而生。目前比较有名成熟的有，Splunk(商业)、FaceBook 的Scribe、Apache的Chukwa Cloudera的Fluentd、还有ELK等等。

二、组件

1.elasticsearch

1.1 作用

  • 日志分析
  • 开源的日志收集、分析、存储程序

1.2 特点

  • 分布式
  • 零配置
  • 自动发现
  • 索引自动分片
  • 索引副本机制
  • Restful风格接口
  • 多数据源
  • 自动搜索负载

2.logstash

2.1 作用

  • 日志收集
  • 搜集、分析、过滤日志的工具

2.2 工作过程

  • 一般工作方式为c/s架构，Client端安装在需要收集日志的服务器上，Server端负责将收到的各节点日志进行过滤、修改等操作，再一并发往Elasticsearch上去
  • Inputs → Filters → Outputs
  • 输入-->过滤-->输出

2.3 INPUT

  • File：从文件系统的文件中读取，类似于tail -f命令
  • Syslog：在514端口上监听系统日志消息，并根据RFC3164标准进行解析
  • Redis：从redis service中读取
  • Beats：从filebeat中读取

2.4 FILETER

  • Grok：解析任意文本数据，Grok 是 Logstash 最重要的插件。它的主要作用就是将文本格式的字符串，转换成为具体的结构化的数据，配合正则表达式使用。
  • 官方提供的grok表达式：logstash-patterns-core/patterns at main · logstash-plugins/logstash-patterns-core · GitHub
  • Grok在线调试：Grok Debugger
  • Mutate：对字段进行转换。例如对字段进行删除、替换、修改、重命名等。
  • Drop：丢弃一部分Events不进行处理。
  • Clone：拷贝Event，这个过程中也可以添加或移除字段。
  • Geoip：添加地理信息(为前台kibana图形化展示使用)

2.5 OUTPUTS

  • Elasticsearch：可以高效的保存数据，并且能够方便和简单的进行查询。
  • File：将Event数据保存到文件中。
  • Graphite：将Event数据发送到图形化组件中，踏实一个当前较流行的开源存储图形化展示的组件。

3.kibana

  • 日志可视化
  • 为Logstash和ElasticSearch在收集、存储的日志基础上进行分析时友好的Web界面，可以帮助汇总、分析和搜索重要数据日志。

三、架构类型

1.ELK

es
logstash
kibana

2.ELKK

es
logstash
kafka
kibana

3.ELFK

es
logstash        重量级、占用系统资源较多
filebeat          轻量级、占用系统资源较少
kibana

4.ELFKK

es
logstash
filebeat
kafka
kibana

四、案例 - 构建ELK集群

1.环境配置

设置各个主机的IP地址为拓扑中的静态IP，在两个节点中修改主机名为node1和node2并设置hosts文件

node1：

hostnamectl set-hostname node1

bash

vim /etc/hosts

192.168.42.3  node1

192.168.42.4  node2

node2：

hostnamectl set-hostname node2

bash

vim /etc/hosts

192.168.42.3  node1

192.168.42.4  node2

        

2.安装node1与node2节点的elasticsearch

2.1 安装

  mv elk-apppack elk

  cd elk

rpm -ivh elasticsearch-5.5.0.rpm

2.2 配置

node1：

vim /etc/elasticsearch/elasticsearch.yml

cluster.name:my-elk-cluster  //集群名称   

node.name:node1 //节点名字

path.data:/var/lib/elasticsearch  //数据存放路径

path.logs： /var/log/elasticsearch/  //日志存放路径

bootstrap.memory_lock:false //在启动的时候不锁定内存

network.host:0.0.0.0  //提供服务绑定的IP地址，0.0.0.0代表所有地址

http.port:9200 //侦听端口为9200

discovery.zen.ping.unicast.hosts：【"node1"，"node2"】 //群集发现通过单播实现

node2：

vim /etc/elasticsearch/elasticsearch.yml

cluster.name:my-elk-cluster  //集群名称   

node.name:node2 //节点名字

path.data:/var/lib/elasticsearch  //数据存放路径

path.logs： /var/log/elasticsearch/  //日志存放路径

bootstrap.memory_lock:false //在启动的时候不锁定内存

network.host:0.0.0.0  //提供服务绑定的IP地址，0.0.0.0代表所有地址

http.port:9200 //侦听端口为9200

discovery.zen.ping.unicast.hosts：【"node1"，"node2"】 //群集发现通过单播实现

2.3 启动elasticsearch服务

node1和node2

systemctl start elasticsearch

2.4 查看节点信息

  http://192.168.42.3:9200

http://192.168.42.4:9200

3.在node1安装elasticsearch-head插件

3.1 安装node

cd elk

ls

tar xf node-v8.2.1.tar.gz

cd node-v8.2.1

./configure && make && make install

3.2 拷贝命令

tar xf phantomjs-2.1.1-linux-x86_64.tar.bz2

cd phantomjs-2.1.1-linux-x86_64/bin

cp phantomjs  /usr/local/bin

3.3 安装elasticsearch-head

cd elk

tar xf elasticsearch-head.tar.gz

cd elasticsearch-head

npm install

3.4 修改elasticsearch配置文件

vim /etc/elasticsearch/elasticsearch.yml

 # Require explicit names when deleting indices:

#

#action.destructive_requires_name:true

http.cors.enabled: true  //开启跨域访问支持，默认为false

http.cors.allow-origin:"*"  //跨域访问允许的域名地址

重启服务： systemctl restart elasticsearch

3.5 启动elasticsearch-head

cd /root/elk/elasticsearch-head

npm run start &

查看监听： netstat -anput | grep :9100

3.6 访问

http://192.168.42.3:9100

3.7 在node1的终端中输入：

curl  -XPUT  'localhost:9200/index-demo/test/1?pretty&pretty' -H  'Content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'

刷新浏览器可以看到对应信息即可

4.node1服务器安装logstash

cd elk

rpm -ivh logstash-5.5.1.rpm

systemctl start logstash.service

In -s /usr/share/logstash/bin/logstash  /usr/local/bin/

测试1： 标准输入与输出

logstash -e 'input{ stdin{} }output { stdout{} }'

测试2： 使用rubydebug解码

logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug }}'

测试3：输出到elasticsearch

logstash -e 'input { stdin{} } output { elasticsearch{ hosts=>["192.168.42.3:9200"]} }'

  查看结果：

http://192.168.42.3:9100

5.ogstash日志收集文件格式（默认存储在/etc/logstash/conf.d）

Logstash配置文件基本由三部分组成：input、output以及 filter（根据需要）。标准的配置文件格式如下：

input (...)  输入

filter {...}   过滤

output {...}  输出

在每个部分中，也可以指定多个访问方式。例如，若要指定两个日志来源文件，则格式如下：

input {

file{path =>"/var/log/messages" type =>"syslog"}

file { path =>"/var/log/apache/access.log"  type =>"apache"}

}

通过logstash收集系统信息日志

chmod o+r /var/log/messages

vim /etc/logstash/conf.d/system.conf

input {

file{

path =>"/var/log/messages"

type => "system"

start_position => "beginning"

}

}

output {

elasticsearch{

hosts =>["192.168.42.1:9200"]

index => "system-%{+YYYY.MM.dd}"

}

}

重启日志服务： systemctl restart logstash

查看日志： http://192.168.42.3:9100

6.node1节点安装kibana

cd elk

rpm -ivh kibana-5.5.1-x86_64.rpm

配置kibana

vim /etc/kibana/kibana.yml

server.port：5601  //Kibana打开的端口

server.host："0.0.0.0" //Kibana侦听的地址

elasticsearch.url： "http：//192.168.42.3:9200"  

//和Elasticsearch 建立连接

kibana.index：".kibana"  //在Elasticsearch中添加.kibana索引

启动kibana

systemctl start kibana

访问kibana :

http://192.168.42.3:5601

首次访问需要添加索引，我们添加前面已经添加过的索引：system-*

7.企业案例

收集httpd访问日志信息

在httpd服务器上安装logstash，参数上述安装过程，可以不进行测试

logstash在httpd服务器上作为agent（代理），不需要启动

编写httpd日志收集配置文件

vim /etc/logstash/conf.d/httpd.conf

input {

file{

path=>"/var/log/httpd/access_log" //收集Apache访问日志

type => "access" //类型指定为 access

start_position => "beginning" //从开始处收集

}

output{

elasticsearch {

hosts =>["192.168.42.3:9200"] // elasticsearch 监听地址及端口

index =>"httpd_access-%{+YYYY.MM.dd}" //指定索引格式

}

}

使用logstash命令导入配置：

logstash -f /etc/logstash/conf.d/httpd.conf

使用kibana查看即可！ http://192.168.42.3:5601   查看时在mangement选项卡创建索引httpd_access-*  即可！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/118133.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【C++刷题】动态规划

【C++刷题】动态规划

文章目录 前言一、斐波那契系列1.第 N 个泰波那契数2.三步问题3.使用最小花费爬楼梯4.解码方法5.不同路径6.下降路径最小和7.地下城游戏 二、多种状态系列1.按摩师2.打家劫舍II3.删除并获得点数4.粉刷房子5.买卖股票的最佳时机6.买卖股票的最佳时机III 三、子数组和子串系列1.最…
阅读更多...
WebSocket--技术文档--架构体系--《WebSocket实现原理以及关键组件》

WebSocket--技术文档--架构体系--《WebSocket实现原理以及关键组件》

WebSocket产生背景 简单的说，WebSocket协议之前，双工通信是通过多个http链接来实现，这导致了效率低下。WebSocket解决了这个问题。下面是标准RFC6455中的产生背景概述。 长久以来, 创建实现客户端和用户端之间双工通讯的web app都会造成HTT…
阅读更多...
Gorm简单了解

Gorm简单了解

GORM 指南 | GORM - The fantastic ORM library for Golang, aims to be developer friendly. 04_GORM查询操作_哔哩哔哩_bilibili 前置： db调用操作语句中间加debug（）可以显示对应的sql语句 1.Gorm模型定义（理解重点&#xff…
阅读更多...
智慧排水监测系统，科技助力城市排水治理

智慧排水监测系统，科技助力城市排水治理

城市里，人们每天通过道路通行，人多，路窄，都会拥堵。同样，下雨天，雨水通过雨篦汇集、管道输送，最终排出去，当雨水过大，或者管道过窄，或者管道不通畅&#xff0…
阅读更多...
Java 复习笔记 - 面向对象篇

Java 复习笔记 - 面向对象篇

文章目录 一，面向对象概述二，类和对象（一）类和对象的概述（二）定义类的补充注意事项 三，封装四，就近原则和this关键字（一）就近原则（二）…
阅读更多...
学生管理系统VueAjax版本

学生管理系统VueAjax版本

学生管理系统VueAjax版本 使用Vue和Ajax对原有学生管理系统进行优化 1.准备工作 创建AjaxResult类，对Ajax回传的信息封装在对象中 package com.grg.Result;/*** Author Grg* Date 2023/8/30 8:51* PackageName:com.grg.Result* ClassName: AjaxResult* Descript…
阅读更多...
stm32f1xx单片机拦截中断源代码

stm32f1xx单片机拦截中断源代码

这个是实现后的效果，可以看到已经没有中断的效果了 这个是拦截前的效果可以看到电平是在变化的 实现原理非常简单：一句话搞定： if(TIM2->CNTTIM2->ARR-5)TIM2->CNT-5; 以下是完整的代码：是用来补充说明和筹字数的 /* …
阅读更多...
CSS 一个好玩的卡片“开卡效果”

CSS 一个好玩的卡片“开卡效果”

文章目录 一、用到的一些CSS技术二、实现效果三、代码 一、用到的一些CSS技术 渐变 conic-gradientbox-shadowclip-path变换、过渡 transform、transition动画 animation keyframes伪类、伪元素 :hover、::before、::after …绝对布局。。。 clip-path 生成网站 https://techb…
阅读更多...
二进制转换16进制 快速心算

二进制转换16进制 快速心算

1111 1110 ---> 0xFE 1111 为 8 4 2 1 ---> 8 4 2 1 15 --> 16进制表示为F1110 为 8 4 2 0 ---> 8 4 2 0 14 --> 16进制表示为E
阅读更多...
Vulnstack----5、ATTCK红队评估实战靶场五

Vulnstack----5、ATTCK红队评估实战靶场五

文章目录 一 环境搭建二 外网渗透三 内网信息收集3.1 本机信息收集3.2 域内信息收集 四 横向移动4.1 路由转发和代理通道4.2 抓取域用户密码4.3 使用Psexec登录域控4.4 3389远程登录 五、痕迹清理 一 环境搭建 1、项目地址 http://vulnstack.qiyuanxuetang.net/vuln/detail/7/ …
阅读更多...
合宙Air724UG LuatOS-Air LVGL API控件--进度条 (Bar)

合宙Air724UG LuatOS-Air LVGL API控件--进度条 (Bar)

进度条 (Bar) Bar 是进度条，可以用来显示数值，加载进度。 示例代码 – 创建进度条 bar lvgl.bar_create(lvgl.scr_act(), nil) – 设置尺寸 lvgl.obj_set_size(bar, 200, 20); – 设置位置居中 lvgl.obj_align(bar, NULL, lvgl.ALIGN_CENTER, 0, 0) …
阅读更多...
js实现点击查看全部/收起功能

js实现点击查看全部/收起功能

在上一篇文章实现用js截取文本后，我的另一个需求也迎刃而解了。需求就是一段长文本需要溢出隐藏，然后点击全部时显示全部文本，点击收起又回到溢出隐藏的状态。实现的效果如下图： 实现的思路时点击全部时使用这条数据的原文本&…
阅读更多...
设计模式-中介者模式

设计模式-中介者模式

文章目录 一、前言二、中介者模式1、定义2、未使用/使用中介者模式对比2.1、未使用中介者模式：2.2、使用中介者模式： 3、角色分析3.1、中介者（Mediator）：3.2、同事（Colleague）：3.3、…
阅读更多...
tableau基础学习2：时间序列数据预处理与绘图

tableau基础学习2：时间序列数据预处理与绘图

文章目录 数据预处理1. 原始数据2. 合并数据集2. 创建计算字段 绘图分析1. 趋势分析2. 计算字段趋势分析 这一部分，我们记录一些分析时序趋势的分析步骤 数据预处理 1. 原始数据 原始数据是excel表格，其中包含三个Sheet页， 这里我们选择两…
阅读更多...
02-请解释一下Java的内存模型和happens-before规则？【Java面试题总结】

02-请解释一下Java的内存模型和happens-before规则？【Java面试题总结】

请解释一下Java的内存模型和happens-before规则？ 概念：Java内存模型，简称JMM，是一种定义了多线程程序中内存访问行为的规范。它定义了线程如何与主内存和工作内存进行交互，以及如何保证多线程程序的正确性和可见性。J…
阅读更多...
ChatGPT Prompting开发实战（三）

ChatGPT Prompting开发实战（三）

一、关于chaining prompts与CoT的比较 前面谈到的CoT的推理过程，可以比作是一次性就烹调好一顿大餐，那么接下来要说的“chaining prompts”，其背后的理念是分多次来完成这样一项复杂任务，每次只完成其中一步或者一个子任务。核心…
阅读更多...
探索图像数据中的隐藏信息：语义实体识别和关系抽取的奇妙之旅

探索图像数据中的隐藏信息：语义实体识别和关系抽取的奇妙之旅

探索图像数据中的隐藏信息：语义实体识别和关系抽取的奇妙之旅 1. 简介 1.1 背景 关键信息抽取 (Key Information Extraction, KIE)指的是是从文本或者图像中，抽取出关键的信息。针对文档图像的关键信息抽取任务作为OCR的下游任务，存在非常…
阅读更多...
2023年的深度学习入门指南(26) - 在自己电脑上运行通义千问7b模型

2023年的深度学习入门指南(26) - 在自己电脑上运行通义千问7b模型

2023年的深度学习入门指南(26) - 在自己电脑上运行通义千问7b模型 通过量化，通义千问4位量化的模型大小为5.86G，可以在3060等小于16G的家用GPU上也可以运行起来。 通义千问7b的量化运行 通义千问7b提供了4位量化好的Qwen/Qwen-7B-Chat-Int4模型&#…
阅读更多...
无涯教程-Android - RadioGroup函数

无涯教程-Android - RadioGroup函数

RadioGroup类用于单选按钮集。 如果我们选中属于某个单选按钮组的一个单选按钮,它将自动取消选中同一组中以前选中的任何单选按钮。 RadioGroup属性 以下是与RadioGroup控制相关的重要属性。您可以查看Android官方文档以获取属性的完整列表以及可以在运行时更改这些属性的相关…
阅读更多...
day-07 I/O复用（select）

day-07 I/O复用（select）

一.I/O复用 （一）基于I/O复用的服务器端 1.多进程服务器 每次服务都需要创建一个进程，需要大量的运算和内存空间 2.复用 只需创建一个进程。 3.复用技术在服务器端的应用 （二）select函数实现服务器端 （…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023