ES+FileBeat+Kibana日志采集搭建体验

1.环境准备

   需要linux操作系统,并安装了docker环境

   此处使用虚拟机演示。(虚拟机和docker看参考我之前写的文章)

    VirtualBox安装Oracle Linux 7.9全流程-CSDN博客

    VirtualBox上的Oracle Linux虚拟机安装Docker全流程-CSDN博客

  简单演示搭建ES+FileBeat+Kibana进行日志采集、上报、展示、搜索流程。

 2.创建elk网络

    docker network create elk

3.docker拉取并启动ES

docker run -d \

   --name=elasticsearch \

   -v es-data:/usr/share/elasticsearch/data \

   -e ES_JAVA_OPTS="-Xms256m -Xmx512m"  \

   -e "discovery.type=single-node" \

   -e "xpack.security.enabled=false" \

   --net elk \

   -p 9200:9200 -p 9300:9300 \

docker.elastic.co/elasticsearch/elasticsearch:8.6.2

镜像比较大,执行需要耐心等待下。

Elasticsearch容器启动成功。

访问http://192.168.56.103:9200 显示如下

4.docker拉取并启动kibana

docker run -d \

   --name=kibana \

   -e ELASTICSEARCH_HOSTS=http://elasticsearch:9200 \

   -e I18N_LOCALE=zh-CN \

   --net elk \

   -p 5601:5601 \

docker.elastic.co/kibana/kibana:8.6.2

 kibana容器启动成功

 #查看运行的容器

 docker ps -a

 #观察kibana容器日志输出

 docker logs kibana --tail 20  -f

访问http://192.168.56.103:5601

5.安装filebeat日志采集

 5.1 安装filebeat

wget  https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.6.2-x86_64.rpm

 rpm -ivh  filebeat-8.6.2-x86_64.rpm

 5.2 修改filebeat配置

cd  /etc/filebeat

mv filebeat.yml  filebeat.yml.bak

vim  filebeat.yml

添加如下:

filebeat.inputs:

- type: log

  enabled: true

  paths:

  - /var/log/*log

  - /var/log/messages

setup.ilm.enabled: false

setup.template.name: "test"

setup.template.pattern: "test-*"

output.elasticsearch:

  hosts: ["http://localhost:9200"]

  index: "test-%{+yyyy.MM.dd}"

 5.3启动filebeat

#测试配置是否正确

filebeat test config

#测试一下 Filebeat 和 Elasticsearch 是否连接成功

#设置初始环境

filebeat setup -e

#启动filebeat

systemctl start filebeat

#查看filebeat的日志

tail -20f /var/log/messages

6.kibana配置数据视图及展示搜索日志

最终能看到日志已经加载到ES上了,在kibana上的效果如下:

 这些匹配的规则文件都会被上报到es中 

 /var/log/*log             #这个是符合log后缀的文件

 /var/log/messages   #这个是filebeat的日志文件

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/406330.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux_Shell三剑客grep,awk,sed-08

三剑客的概述: awk、grep、sed是linux操作文本的三大利器,合称文本三剑客,也是必须掌握的linux命令之一。三者的功能都是处理文本,但侧重点各不相同,其中属awk功能最强大,但也最复杂。grep更适合单纯的查找…

好用又便宜的平替苹果笔推荐:2024开学季盘点五款高性价比电容笔

​随着网络学习的不断发展,电容笔是一种常见的数字书写工具,受到许多学生党广泛欢迎,因为它可以与平板电脑完美配对,满足用户在平板上的书写、绘画等需求。可是原装笔的价格略贵,平替苹果笔的品牌又很多,很…

Java:循环练习

目录 1. 回文判断 2. 减法求商余 3. 求平方根 4.求质数 5. 猜数字 1. 回文判断 输入一个数字,判断是否为回文,回文就是正着读和反着读都一样,如121是回文,123则不是。 import java.util.Scanner;public class DemoNew {publ…

LUA的使用

背景 LUA刚流行起来的时候,想学习一下LUA。就找了一款使用LUA脚本引擎的游戏玩。希望从中了解LUA的使用 结果 熟悉了LUA的同时也熟悉了这款游戏。 准备工作 使用detoured withdll注入LUAK.dll。LUAK.dll用于管理LUA环境 procedure PROCESS_ATTACH(); stdcall …

Python 实现自定义异常

在Python编程中,异常处理是保证程序健壮性的重要机制。Python提供了一些内置的异常类,如ValueError、TypeError、IndexError等,开发者可以直接使用这些类来捕获和处理程序运行中出现的各种错误。然而,某些场景下,内置的…

无人机使用材料与结构特点详解,看完这篇文你就懂了!!!

一、常用材料 无人机的常用材料主要包括机身材料(结构材料和非结构材料)、发动机材料和涂料,其中最主要的是机身结构材料和发动机材料。 机身结构材料 低速无人机:主要使用木材、塑料、玻璃纤维或碳纤维复合材料蜂窝夹层结构。…

SQL Server数据库查询常用语句汇总

这里,汇总了在使用SQL Server数据库的过程中经常会写的查询语句。 情形1 根据时间查询最新一条数据 (dtime类型为datetime) select top 1 名称 as name,列名1 as parname1,列名2 as parname2,dtime,col1,col2 from demo order by dtime …

【基础算法总结】多源 BFS_多源最短路问题

多源 BFS_多源最短路问题 1.多源 BFS_多源最短路问题2.01 矩阵3.飞地的数量4.地图中的最高点5.地图分析 点赞👍👍收藏🌟🌟关注💖💖 你的支持是对我最大的鼓励,我们一起努力吧!😃&…

NtripShare全站仪自动化监测之气象改正

最近有幸和自动化监测领域权威专家进行交流,讨论到全站仪气象改正的问题,因为有些观点与专家不太一致,所以再次温习了一下全站仪气象改正的技术细节。 气象改正的概念 全站仪一般利用光波进行测距,首先仪器会处理测距光波的相位漂…

SpingBoot 两种方式配置多数据源

第一种&#xff1a;使用与MyBaits-Plus师出同门的“dynamic-datasource-spring-boot-starter” 官网地址&#xff1a; 基础必读&#xff08;免费&#xff09; dynamic-datasource 看云 1&#xff1a;引入依赖 <!-- 苞米豆多数据源 --> <dependency><group…

科技大厂对AI的垄断

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗&#xff1f;订阅我们的简报&#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同&#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会&#xff0c;成为AI领…

ios白苹果修复办法有哪些?

在这个数字化时代&#xff0c;iPhone作为智能手机的佼佼者&#xff0c;早已融入了我们生活的方方面面。然而&#xff0c;当那熟悉的开机画面——“白苹果”意外地成为了你的日常&#xff0c;无疑让人头疼不已。别担心&#xff0c;今天我们就来聊聊iOS白苹果现象的成因及几种有效…

C#实现数据采集系统-多设备采集

系统功能升级-多设备采集 数据采集系统在网络环境下&#xff0c;性能足够&#xff0c;可以实现1对多采集&#xff0c;需要支持多个设备进行同时采集功能&#xff0c;现在就开发多设备采集功能 修改多设备配置 设备配置 将DeviceLink 改成List集合的DeviceLinks删掉Points&a…

运维开发——局域网SSH访问服务器与应用

摘要 本博文主要介绍局域网SSH访问登陆虚拟机和及其应用相关配置操作。 1. 局域网SSH访问登陆虚拟机 目标&#xff1a;在局域网内A电脑使用SSH登陆B电脑上虚拟机的服务器。 前提条件:B电脑为宿主机&#xff0c;可以正常使用ssh访问虚拟机服务器&#xff0c;虚拟机网络连接方…

数学强化| 李林880重点题速刷计划

快9月了&#xff0c;有的同学还没开始强化&#xff0c;进度确实有点慢了&#xff0c;有同学问&#xff1a; 刚开始强化&#xff0c;880题该如何快速刷完&#xff1f; 听我说&#xff0c;别急&#xff01;越是强化开始的晚&#xff0c;就越不能急&#xff0c;因为强化的作用有两…

【Datawhale AI 夏令营】第四期 基于2B源大模型 微调

定位&#xff1a;代码复现贴 教程&#xff1a;https://datawhaler.feishu.cn/wiki/PLCHwQ8pai12rEkPzDqcufWKnDd 模型加载 model AutoModelForCausalLM.from_pretrained(path, device_map"auto", torch_dtypetorch.bfloat16, trust_remote_codeTrue )AutoModelForC…

AI学习记录 - 如何快速构造一个简单的token词汇表

创作不易&#xff0c;有用的话点个赞 先直接贴代码&#xff0c;我们再慢慢分析&#xff0c;代码来自openai的图像分类模型的一小段 def bytes_to_unicode():"""Returns list of utf-8 byte and a corresponding list of unicode strings.The reversible bpe c…

压测工具哪个好?LoadRunner、Jmeter、Locust、Wrk 全方位对比....

当你想做性能测试的时候&#xff0c;你会选择什么样的测试工具呢&#xff1f;是会选择wrk&#xff1f;jmeter&#xff1f;locust&#xff1f;还是loadrunner呢&#xff1f;今天&#xff0c;笔者将根据自己使用经验&#xff0c;针对jmeter、locust、wrk和loadrunner常用的性能测…

前后端部署-服务器linux中部署Node.js环境

一.安装分布式版本管理系统Git (Alibaba Cloud Linux 3/2、CentOS 7.x) sudo yum install git -y 二.使用Git将NVM的源码克隆到本地的~/.nvm目录下&#xff0c;并检查最新版本。 git clone https://gitee.com/mirrors/nvm.git ~/.nvm && cd ~/.nvm && gi…

RVG29;狂犬病病毒肽;狂犬病病毒糖蛋白;115136-25-9;YTIWMPENPRPGTPCDIFTNSRGKRASNG

【RVG29 简介】 RVG29&#xff08;狂犬病病毒肽&#xff09;是一种由29个氨基酸组成的细胞穿透肽&#xff0c;它来源于狂犬病病毒糖蛋白。RVG肽能够特异性识别并结合中枢神经系统中普遍存在的烟碱型乙酰胆碱受体&#xff08;nAChR&#xff09;&#xff0c;并通过受体介导的转胞…