大数据-190 Elasticsearch - ELK 日志分析实战 - 配置启动 Filebeat Logstash

点一下关注吧！！！非常感谢！！持续更新！！！

目前已经更新到了：

  • Hadoop（已更完）
  • HDFS（已更完）
  • MapReduce（已更完）
  • Hive（已更完）
  • Flume（已更完）
  • Sqoop（已更完）
  • Zookeeper（已更完）
  • HBase（已更完）
  • Redis （已更完）
  • Kafka（已更完）
  • Spark（已更完）
  • Flink（已更完）
  • ClickHouse（已更完）
  • Kudu（已更完）
  • Druid（已更完）
  • Kylin（已更完）
  • Elasticsearch（正在更新…）

章节内容

上节我们完成了如下的内容：

  • ELK 日志分析配置环境
  • Nginx、Elastic、ZK、Kafka 等等

在这里插入图片描述

Filebeat

官方地址

Filebeat主要为了解决Logstash工具是消耗资源比较严重的问题，因为Logstash是Java语言编写的，需要启动一个虚拟机。官方为了优化这个问题推出了一些轻量级的采集工具，Beats系列，其中比较广泛使用的是Filebeat。

https://www.elastic.co/guide/en/beats/filebeat/7.3/index.html

对比区别

  • Logstash是运行在Java虚拟机上的，启动一个Logstash需要消耗500M的内存（所以启动特别慢），而Filebeat只需要10M左右
  • 常用的ELK日志采集中，大部分的做法就是将所有节点的日志内容通过Filebeat发送到Kafka集群，Logstash消费Kafka，再根据配置文件进行过滤，然后将过滤的文件输出到Elasticsearch中，再到Kibana去展示。

项目安装

目前我选择在 h121 节点上，你可以按照自己的情况来安装。

cd /opt/software
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.3.0-linux-x86_64.tar.gz

结果如下图所示：
在这里插入图片描述

解压配置

tar -zxvf filebeat-7.3.0-linux-x86_64.tar.gz
mv filebeat-7.3.0-linux-x86_64 ../servers
cd ../servers

对应的内容如下图所示：
在这里插入图片描述
修改配置文件如下：

cd /opt/servers/filebeat-7.3.0-linux-x86_64
vim filebeat.yml

当前文件内容如下所示：
在这里插入图片描述

input部分

修改为如下的内容 filebeat.inputs 部分的内容：

- type: log# Change to true to enable this input configuration.enabled: true# Paths that should be crawled and fetched. Glob based paths.paths:- /opt/wzk/logs/access.log#- c:\programdata\elasticsearch\logs\*# Exclude lines. A list of regular expressions to match. It drops the lines that are# matching any regular expression from the list.#exclude_lines: ['^DBG']# Include lines. A list of regular expressions to match. It exports the lines that are# matching any regular expression from the list.#include_lines: ['^ERR', '^WARN']# Exclude files. A list of regular expressions to match. Filebeat drops the files that# are matching any regular expression from the list. By default, no files are dropped.#exclude_files: ['.gz$']# Optional additional fields. These fields can be freely picked# to add additional information to the crawled log files for filteringfields:app: wwwtype: nginx-accessfields_under_root: true### Multiline options

修改的截图如下：
在这里插入图片描述

output部分

output.kafka:hosts: ["h121.wzk.icu:9092"]topic: "nginx_access_log"

对应的截图如下所示：
在这里插入图片描述

启动服务

cd /opt/servers/filebeat-7.3.0-linux-x86_64
./filebeat -e -c filebeat.yml

如果你在这里遇到了 runtime-cgo-pthread-create-failed-operation-not-permitted 的错误，那你可以尝试将 FileBeat 的版本进行提升，我这里就遇到了，所以后续进行版本提升

遇到错误 runtime-cgo-pthread-create-failed-operation-not-permitted

如果你没有遇到，直接跳过！
我这里版本一点点的往上尝试，大致猜测是操作系统的版本可能新一些，所以原来的Go的库无法支持新的操作系统了（猜测的）。
这里我测试到 7.17 的版本就好了：

cd /opt/software
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.17.0-linux-x86_64.tar.gz

根据刚才的操作，我已经配置好了路劲等内容，且修改了 filebeat.yml 的配置文件内容
在这里插入图片描述
进行启动测试：

cd /opt/servers/filebeat-7.17.0-linux-x86_64
./filebeat -e -c filebeat.yml

顺利启动，启动结果如下图：
在这里插入图片描述

测试数据

启动一切正常之后，我们在Nginx刷新几次，来生成一些数据出来。

查看消费

kafka-console-consumer.sh --bootstrap-server h121.wzk.icu:9092 --topic nginx_access_log --
from-beginning

可以看到数据已经来了：
在这里插入图片描述
我们进行一下JSON的格式化操作：

{"@timestamp": "2024-08-19T08:14:52.073Z","@metadata": {"beat": "filebeat","type": "_doc","version": "7.17.0"},"cloud": {"availability_zone": "cn-north-1b","service": {"name": "ECS"},"provider": "huawei","instance": {"id": "ccf8173b-3e47-468e-be8a-5ea3a03c76e0"},"region": "cn-north-1"},"log": {"offset": 2034,"file": {"path": "/opt/wzk/logs/access.log"}},"message": "{ \"@timestamp\": \"2024-08-19T16:14:46+08:00\", \"remote_addr\": \"223.80.101.21\", \"remote_user\": \"-\", \"body_bytes_sent\": \"0\", \"request_time\": \"0.000\", \"status\": \"304\", \"request_uri\": \"/\", \"request_method\": \"GET\", \"http_referrer\": \"-\", \"http_x_forwarded_for\": \"-\", \"http_user_agent\": \"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36\"}","fields": {"app": "www","type": "nginx-access"},"input": {"type": "log"},"agent": {"hostname": "h121.wzk.icu","ephemeral_id": "ebc9ac86-db92-4bb1-a631-e6a868393270","id": "da3cc603-7d17-4b4a-ac3b-6b557805a2e2","name": "h121.wzk.icu","type": "filebeat","version": "7.17.0"},"ecs": {"version": "1.12.0"},"host": {"name": "h121.wzk.icu","mac": ["fa:16:3e:6b:c3:30"],"hostname": "h121.wzk.icu","architecture": "x86_64","os": {"codename": "jammy","type": "linux","platform": "ubuntu","version": "22.04.3 LTS (Jammy Jellyfish)","family": "debian","name": "Ubuntu","kernel": "5.15.0-92-generic"},"id": "42ed7c7740bf4c19a180c6b736d11bbf","containerized": false,"ip": ["192.168.0.109", "fe80::f816:3eff:fe6b:c330"]}
}

Logstash

官方文档

Logstash用来读取Kafka中的数据

https://www.elastic.co/guide/en/logstash/7.3/plugins-inputs-kafka.html

编写配置

cd /opt/servers/logstash-7.3.0/config
vim logstash_kafka_es.conf

修改如下的配置如何：

input {kafka {bootstrap_servers => "h121.wzk.icu:9092"topics => ["nginx_access_log"]codec => "json"}
}filter {if [app] == "www" {if [type] == "nginx-access" {json {source => "message"remove_field => ["message"]}geoip {source => "remote_addr"target => "geoip"database => "/opt/wzk/GeoLite2-City.mmdb"add_field => ["[geoip][coordinates]", "%{[geoip][longitude]}"]add_field => ["[geoip][coordinates]", "%{[geoip][latitude]}"]}mutate {convert => ["[geoip][coordinates]", "float"]}}}
}output {elasticsearch {hosts => ["http://h121.wzk.icu:9200"]index => "logstash-%{type}-%{+YYYY.MM.dd}"}stdout {codec => rubydebug}
}

下载依赖

我们看到这里用了一个 GeoLite2-City.mmdb，我们需要下载GeoLite2-City.mmdb：

https://github.com/P3TERX/GeoLite.mmdb?tab=readme-ov-file

这里我直接下载：

cd /opt/wzk/
wget https://git.io/GeoLite2-City.mmdb

下载过程如下图所示：
在这里插入图片描述

测试服务

cd /opt/servers/logstash-7.3.0
bin/logstash -f /opt/servers/logstash-7.3.0/config/logstash_kafka_es.conf -t

运行的结果如下图所示：
在这里插入图片描述

启动服务

cd /opt/servers/logstash-7.3.0
bin/logstash -f /opt/servers/logstash-7.3.0/config/logstash_kafka_es.conf

启动之后结果如下图：
在这里插入图片描述
Kafa对应的日志部分：
在这里插入图片描述

测试数据

我们刷新Nginx的页面，提供一些数据出来。
我们可以看到 Logstash 的控制台输出了对应的内容：
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/456900.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

语音语言模型最新综述！ 关于GPT-4o背后技术的尝试

语音语言模型最新综述！ 关于GPT-4o背后技术的尝试

近期,大型语言模型(LLMs)在生成文本和执行各种自然语言处理任务方面展现出了卓越的能力,成为了强大的AI驱动语言理解和生成的基础模型。然而，仅依赖于基于文本模态的模型存在显著局限性。这促使了基于语音的生成模型的发展,使其能够更自然、直观地与人类互动。 为了…
阅读更多...
任务看板是什么？如何选择合适的任务看板工具？

任务看板是什么？如何选择合适的任务看板工具？

一、任务看板是什么？ 任务看板是一种可视化的项目管理工具，它通常以板状的形式呈现，将任务以卡片的形式展示在不同的列中，每一列代表任务的不同状态。例如，待办事项、进行中、已完成等。任务看板能够帮助团队成员清晰…
阅读更多...
Linux: network: wireshark IO图的一个问题

Linux: network: wireshark IO图的一个问题

今天遇到一个问题，发现wireshark画的IO图，前几秒没有数据，但是根据Raw的pcap看，是有包的，这就迷惑了。 经同事提醒，这个IO在设置了多个画图filter的时候，可能导致开始前几秒没有输出。如下图 这…
阅读更多...
LLM | 论文精读 | 基于大型语言模型的自主代理综述

LLM | 论文精读 | 基于大型语言模型的自主代理综述

论文标题：A Survey on Large Language Model based Autonomous Agents 作者：Lei Wang, Chen Ma, Xueyang Feng, 等 期刊：Frontiers of Computer Science, 2024 DOI：10.1007/s11704-024-40231-1 一、引言 自主代理（…
阅读更多...
找不到包的老版本？？？scikit-learn，numpy，scipy等等！！

找不到包的老版本？？？scikit-learn，numpy，scipy等等！！

废话不多说 直接上链接了： https://pypi.tuna.tsinghua.edu.cn/simple/https://pypi.tuna.tsinghua.edu.cn/simple/https://pypi.tuna.tsinghua.edu.cn/simple/xxx/ 后面的这个xxx就是包的名字 大家需要什么包的版本，直接输进去就可以啦 举个栗子&#…
阅读更多...
关于Docker的docker engine stopped问题解决

关于Docker的docker engine stopped问题解决

问题图: 主要检查这两块 启用或关闭Windows功能如下图（将没开启的开启特别是Hyper-V，Linux，虚拟机等）： 然后打开任务管理器搜索Docker service将关闭状态打开 运行管理员CMD执行如下命令 重启！&#xff01…
阅读更多...
ClickHouse在百度MEG数据中台的落地和优化

ClickHouse在百度MEG数据中台的落地和优化

导读 百度MEG上一代大数据产品存在平台分散、质量不均和易用性差等问题，导致开发效率低下、学习成本高，业务需求响应迟缓。为了解决这些问题，百度MEG内部开发了图灵3.0生态系统，包括Turing Data Engine(TDE)计算引擎、Turing Dat…
阅读更多...
个性化头像新选择：A1快速定制你的专属头像

个性化头像新选择：A1快速定制你的专属头像

个性化头像是彰显个人特色的绝佳方式，许多人为了表达自我，都会选择定制专属头像。然而，传统的定制头像服务往往价格不菲，且效果难以预测。幸运的是，AI绘画技术的发展为这一问题提供了解决方案。尽管许多AI绘画平台需要…
阅读更多...
useEffect简单介绍

useEffect简单介绍

react组件生命周期 比如说，某些操作就只在初始渲染后执行，我们就可以使用useEffect。 useEffect(function () {fetch(http://www.omdbapi.com/?apikey${KEY}&sinterstellar).then((res) > res.json()).then((data) > setMovies(data.Search)…
阅读更多...
fpga系列 HDL: 竞争和冒险 01

fpga系列 HDL: 竞争和冒险 01

卡诺图是一种逻辑化简工具，用来在布尔函数的最小项和形式中，找到冗余项并实现逻辑化简。也可用于HDL中竞争和冒险的判断。 最小项 任何一个逻辑函数都能化简为最小项的和的形式对于 n 个变量的布尔表达式，每个变量都必须以原变量&#xff0…
阅读更多...
Pyramidal Flow使用指南：快手、北大、北邮，开源可免费商用视频生成模型，快速上手教程

Pyramidal Flow使用指南：快手、北大、北邮，开源可免费商用视频生成模型，快速上手教程

什么是 Pyramidal Flow？ Pyramidal Flow 是由快手科技、北京大学和北京邮电大学联合推出的开源视频生成模型，它是完全开源的，发布在 MIT 许可证下，允许商业使用、修改和再分发。该模型能够通过文本描述生成最高10秒、分辨率为128…
阅读更多...
10分钟使用Strapi（无头CMS）生成基于Node.js的API接口，告别繁琐开发，保姆级教程，持续更新中。

10分钟使用Strapi（无头CMS）生成基于Node.js的API接口，告别繁琐开发，保姆级教程，持续更新中。

一、什么是Strapi？ Strapi 是一个开源的无头（headless） CMS，开发者可以自由选择他们喜欢的开发工具和框架，内容编辑人员使用自有的应用程序来管理和分发他们的内容。得益于插件系统，Strapi 是一个灵活的 C…
阅读更多...
数字IC后端实现 | Innovus各个阶段常用命令汇总

数字IC后端实现 | Innovus各个阶段常用命令汇总

应各位读者要求，小编最近按照Innovus流程顺序整理出数字IC后端项目中常用的命令汇总。限于篇幅，这次只更新到powerplan阶段。有了这份Innovus常用命令汇总，学习数字IC后端从此不再迷路！如果大家觉得这个专题还不错，想继…
阅读更多...
[Redis] Redis数据持久化

[Redis] Redis数据持久化

🌸个人主页:https://blog.csdn.net/2301_80050796?spm1000.2115.3001.5343 🏵️热门专栏: 🧊 Java基本语法(97平均质量分)https://blog.csdn.net/2301_80050796/category_12615970.html?spm1001.2014.3001.5482 🍕 Collection与…
阅读更多...
C#与C++交互开发系列（十）：数组传递的几种形式

C#与C++交互开发系列（十）：数组传递的几种形式

前言 在C#和C的交互开发中，数组传递是一个非常常见且实用的场景。数组可以作为方法的参数，也可以作为响应结果返回。在本篇博客中，我们将探讨几种常见的数组传递方式，展示如何在C#与C之间进行有效的数据交换。我们将主要介绍以下…
阅读更多...
【HarmonyOS Next】原生沉浸式界面

【HarmonyOS Next】原生沉浸式界面

背景 在实际项目中，为了软件使用整体色调看起来统一，一般顶部和底部的颜色需要铺满整个手机屏幕。因此，这篇帖子是介绍设置的方法，也是应用沉浸式效果。如下图：底部的绿色延伸到上面的状态栏和下面的导航栏 UI 在鸿蒙…
阅读更多...
爱奇艺大数据多 AZ 统一调度架构

爱奇艺大数据多 AZ 统一调度架构

01# 导语 爱奇艺大数据技术广泛应用于运营决策、用户增长、广告分发、视频推荐、搜索、会员营销等场景，为公司的业务增长和用户体验提供了重要的数据驱动引擎。 多年来，随着公司业务的发展，爱奇艺大数据平台已积累了海量数据，这…
阅读更多...
crc, md5 和 sha的区别

crc, md5 和 sha的区别

效率不同: 直接看代码 import zlib import hashlib import timewith open(rD:\data., rb) as f:x f.read()s time.time() for i in range(100000):d zlib.crc32(x) print(time.time() - s)s time.time() for i in range(100000):m hashlib.md5()m.update(x)d m.hexdige…
阅读更多...
边缘计算路由网关R40钡铼技术3LAN口1WAN口Modbus协议

边缘计算路由网关R40钡铼技术3LAN口1WAN口Modbus协议

在当今快速发展的工业互联网时代，随着物联网（IoT）与大数据分析的日益融合，边缘计算成为了提高数据处理效率、降低延迟的关键技术。 产品特点： 多接口支持：R40B拥有3个LAN口和1个WAN口的设计，能…
阅读更多...
鸿蒙next之导航组件跳转携带参数

鸿蒙next之导航组件跳转携带参数

官方文档推荐使用导航组件的形式进行页面管理，官方文档看了半天也没搞明白，查了各种文档才弄清楚。以下是具体实现方法： 在src/main/resources/base/profile下新建router_map.json文件 里边存放的是导航组件 {"routerMap" : [{&q…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023