ELK对业务日志进行收集

ELK对业务日志进行收集

下载httpd

进到文件设置收集httpd的文件进行 设置

在这里插入图片描述

编辑内容 用于收集日志的内容 将日志的内容发送到实例当中

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

input {file{path => /etc/httpd/logs/access_logtype => "access"start_position => "beginning"}file{path => /etc/httpd/logs/access_logtype => "error"start_position => "beginning"}}
output {if [type] == "access" {elasticsearch {hosts => ["20.0.0.13:9200","20.0.0.14:9200"]index => "apache_access-%{+YYYY.MM.dd}"}}if [type] == "error" {elasticsearch {hosts => ["20.0.0.13:9200","20.0.0.14:9200"]index => "apache_error-%{+YYYY.MM.dd}"}}

启动文件

logstash -f http.conf --path.data /opt/test5 &

在这里插入图片描述

API接口:

软件内部代码之间通信的接口,代码的连接点

端口是对外提供访问程序的内容接口

页面访问httpd刷新

查看创建索引

在这里插入图片描述

filebeat安装 移动

在这里插入图片描述

在这里插入图片描述

filebeat:

1、可以在本机收集日志

2、也可以远程收集日志

3、轻量级的日志收集系统,可以再非java环境下运行

logstash是在jvm环境中运行,资源消耗很好,启动一个logstash要消耗500M左右的内存

filebeat只消耗十M左右的内存

在这里插入图片描述

打开文件 。yml

开启日志收集,以及确定日志文件的路径,指定标签和发送到目标主机的logstash

在这里插入图片描述

在这里插入图片描述

指定的是es展示的ip+端口 IP不是指定的只要是logstash主机上没有被占用的端口都可以使用,大于1024即可

在这里插入图片描述

要注释掉的

在这里插入图片描述

文件名是对方的主机地址

在这里插入图片描述

这里的端口和上面自己设置的是一样的

在这里插入图片描述

这里是指定往哪里发送

在这里插入图片描述

input {beats { port => "5045" }}
output {if "nginx" in [tags] {elasticsearch {hosts => ["20.0.0.13:9200","20.0.0.14:9200"]index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"}}
这个配置文件里的service_name就是之前在[root@sysql1 filebeat]# vim filebeat.yml
[root@sysql1 filebeat]# pwd
/usr/local/filebeat这个目录下设置的_nginx

在这里插入图片描述

在这里插入图片描述

nohup ./filebeat -e -c filebeat.yml  > filebeat.out &

-e:输出到标准输出

-c:指定配置文件

nohup:在系统的后台运行,不会因为终端的关闭导致后台停止运行

​ > : 可以把运行的日志文件保存到指定的文件

在这里插入图片描述

启动设置好的配置文件

在这里插入图片描述

如果页面访问不了 刷新一下
如果还不行就进入虚拟机启动脚本并将他放入后台运行

在这里插入图片描述

mysql

nginx

httpd

通过远程收集发送到 logstash

ip +_mysql-*

ip +_nginx-*

ip +_httpd-*

在这里插入图片描述

mysql的日志文件 用于二进制收集文件的路径

在这里插入图片描述

修改端口nginx的端口 不然两个服务端口冲突 可修改任意 然后页面访问查看

在这里插入图片描述

nginx nginx的日志存放路径

在这里插入图片描述

httpd 日志存放路径

在这里插入图片描述

mysql 日志存放路径

在这里插入图片描述

- type: logenabled: truepaths:- /var/log/nginx/access.log- /var/log/nginx/error.logtags: ["nginx"]fields:service_name: 20.0.0.40_nginxlog_type: nginxfrom: 20.0.0.40- type: logenabled: truepaths:- /var/log/httpd/access_log- /var/log/httpd/error_logtags: ["httpd"]fields:service_name: 20.0.0.40_httpdlog_type: httpdfrom: 20.0.0.40- type: logenabled: truepaths:- /usr/local/mysql/data/mysql_general.logtags: ["mysqld"]fields:service_name: 20.0.0.40_mysqldlog_type: mysqlfrom: 20.0.0.40

脚本修改名字

在这里插入图片描述
在这里插入图片描述

input {beats { port => "5050" }}
output {if "nginx" in [tags] {elasticsearch {hosts => ["20.0.0.13:9200","20.0.0.14:9200"]index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"}}if "httpd" in [tags] {elasticsearch {hosts => ["20.0.0.13:9200","20.0.0.14:9200"]index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"}}if "mysqld" in [tags] {elasticsearch {hosts => ["20.0.0.13:9200","20.0.0.14:9200"]index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"}}}
nohup ./filebeat -e -c filebeat.yml  > filebeat.out &
[1] 20372
[root@sysql1 filebeat]# nohup: 忽略输入重定向错误到标准输出端

在这里插入图片描述

logstash -f nmh_40.conf --path.data /opt/test7 &

在这里插入图片描述

页面访问

在这里插入图片描述

kiabana上边就已经可以展示了

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/389807.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

基于SpringCloud alibaba的流媒体视频点播平台

基于SpringCloud alibaba的流媒体视频点播平台 前言整体架构具体实现视频播放 总结 先把项目地址放这 》基于SpringCloud alibaba的流媒体视频点播平台《 然后咱们来看看这个项目是干啥的。 前言 今天和大家分享一个项目,基于SpringCloud alibaba的流媒体视频点…

嵌入式单片机中在线调试工具使用方法

大家好,相信很多小伙伴都听说过,或者用过SystemView这款工具。 它是一个可以在线调试嵌入式系统的工具,它可以分析RTOS有哪些中断、任务执行了,以及这些中断、任务执行的先后关系。 还可以查看一些内核对象持有和释放的时间点,比如信号量、互斥量、事件、消息队列等,这在…

紫辉创投开启Destiny of Gods首轮投资,伯乐与千里马的故事仍在继续

近日,上海紫辉创业投资有限公司(以下简称“紫辉创投”)宣布开启GameFi链游聚合平台Destiny of Gods首轮投资500,000美金,并与其达成全面战略及业务层合作,双方将协同布局链上生态,共同推动链游行业健康发展…

开发板与ubuntu不能ping通怎么办?

TOC 第一步:VMware 设置 打开 VMware Workstation Pro 里的 虚拟机 -> 设置 设置网络适配器为桥接模式。这里不要勾选“复制物理网络连接状态”。 因为电脑是 WiFi 上网,所以需要添加一个网络适配器并设置成 NAT 模式,供虚拟机上网。具…

C#:枚举及位标志周边知识详解(小白入门)

文章目录 枚举为什么要有枚举?枚举的性质设置默认类型和显式设置成员的值 位标志(重要)位标记是什么及作用位标志周边知识HasFlag判断是否有该功能枚举前面加Flags的好处 关于枚举的更多知识using static简化代码获取枚举成员的字面量 枚举 为什么要有枚举? 为了增加代码的…

ComfyUI 实战教程:一键扩图

大家好,我是每天分享AI应用的萤火君! 本文给大家分享一个很有用的技术:AI扩图。所谓扩图就是扩展图像的边界,在图像的边界外新增更多画面元素,这不仅仅是扩大图像的尺寸,还要让新添加的部分与原有图像的内…

xss漏洞(二,xss入靶场搭建以及简单利用)

本文仅作为学习参考使用,本文作者对任何使用本文进行渗透攻击破坏不负任何责任。 一,环境搭建。 使用工具:PHP study,dvwa靶场。 1,GitHub上下载dvwa到PHP study的WWW文件夹内,并解压。 dvwa下载地址 …

区块链核心概念与技术架构简介

引言 区块链,一种分布式账本技术,不仅为数字货币提供了基础设施,更在金融、供应链、物联网等多个领域展现出广泛的应用前景。区块链技术被认为是继蒸汽机、电力、互联网之后,下一代颠覆性的核心技术。 如果说蒸汽机释放了人们的…

[网鼎杯 2020 青龙组]AreUSerialz1

打开题目 熟悉的php,代码审计 可知这是一题反序列化类型的题目。 按照常规方法,首先,我们先将代码复制到本地进行序列化构造, 根据代码逻辑分析,咱们可知 function __construct() { $op "1"…

深入理解操作系统--绪论

文章目录 概述操作系统的基本概念多用户系统用户和组进程 小结 概述 最近在读操作系统,发现一些新的概念。写出来,让自己印象更深,希望也帮助一些不懂的朋友;但愿有所帮助吧。 操作系统的基本概念 计算机都包含操作系统的基本程…

Docker 安装 GitLab教程

本章教程,主要介绍如何在Docker 中安装GitLab。 GitLab 是一个开源的 DevOps 平台,提供了一整套工具,用于软件开发生命周期的各个阶段,从代码管理到 CI/CD(持续集成和持续交付/部署),再到监控和安全分析。 一、拉取镜像 docker pull gitlab/gitlab-ce:latest二、创建 G…

Photoshop 运行时常见问题及修复

安装完成后无法运行 出现“由于找不到 MSVCP140.dll,无法继续执行代码。重新安装程序可能会解决此问题。”等问题时,可以从网上搜索 Microsoft Visual C 运行库,下载并安装,一般可解决问题。 暂存盘不够的问题 软件在运算过程中会…

UE5 敌人血条

这样处理就完毕,然后 User Widget 尽可能分成多个进行处理

vue2-级联选择器

级联选择器 一、市面上的级联选择器二、功能实现1、数据类型2、隐藏下拉框的方法3、html结构4、CSS代码5、各个方法代码 三、实现样式截图1、一级菜单1、鼠标放到一级菜单,就显示二级菜单2、鼠标点击一级菜单的时候 2、二级菜单1、鼠标放到二级菜单的时候&#xff0…

Java中的二叉搜索树(如果想知道Java中有关二叉搜索树的知识点,那么只看这一篇就足够了!)

前言:Java 提供了丰富的数据结构来处理和管理数据,其中 TreeSet 和 TreeMap 是基于红黑树实现的集合和映射接口。它们有序地存储数据,提供高效的搜索、插入和删除操作。 ✨✨✨这里是秋刀鱼不做梦的BLOG ✨✨✨想要了解更多内容可以访问我的主…

软件测试 -- 黑盒、灰盒、白盒测试,冒烟测试、回归测试

软件测试目的:查找软件中缺陷(bug),保障软件质量。

MyBatis 动态代理和映射器

一、映射器简介 1.什么是mapper动态代理? 在接口中有方法的返回值定义,参数的定义,方法名,在sqlMapper.xml 中也对应这接口给予了赋值, 这时候dao的实现类就显得多余,这是Mybatis可以帮助我们自动产生实现类&#xf…

HarmonyOS多目标产物构建最佳实践

背景 在Android或iOS开发时经常会有打“马甲”包的场景,就是一套代码打出不同主题的包,一个公司的产品可能针对不同用户提供不同的应用,比如抖音有国内版也有国外版,滴滴有个人版还有企业版,同样的在鸿蒙平台也有类似…

C++初学(9)

9.1、结构简介 虽然数组能够和存储多个元素,但所有元素必须相同,也就是说,同一个数组不能既存放int类型也存放float类型,而C的结构可以满足要求。结构是一种比数组更灵活的数据格式,因为同一个结构可以存储多种类型的…

QtQuick Text-文本样式

属性 Text项目的style属性可以设置文本的样式。 支持的文本样式有: Text.Normal(默认)Text.OutlineText.RaisedText.Sunken 示例 import QtQuickRow{spacing: 10padding: 10Text {font.pointSize: 40text: "Normal"}Text {font…