Logstash 安装与部署(无坑版)

下载

版本对照关系:ElasticSearch 7.9.2 和 Logstash 7.9.2 ;

官方下载地址

选择ElasticSearch版本一致的Logstash版本

https://www.elastic.co/cn/downloads/logstash

下载链接:https://artifacts.elastic.co/downloads/logstash/logstash-7.9.2-linux-x86_64.tar.gz

解压文件

下载完成后,将文件拷贝到自己喜欢的目录!!!

tar -zxvf logstash-7.9.2-linux-x86_64.tar.gz
cd /usr/local/app/logstash-7.9.2

或者

cd /你自己的安装目录/logstash-7.9.2

新建配置文件

切换到config目录,可以按照logstash-sample.conf示例文件,添加连接的配置文件;

  • logstash-sample.conf示例

请在此添加图片描述

  • 解释

配置示例是一个 Logstash 配置文件,用于从 Beats 输入数据并将其发送到 Elasticsearch。

这个配置文件包含两部分:

  1. Input 部分:该部分定义了输入插件,指定 Logstash 应该从哪个来源接收数据。在这里,使用的是 Beats 输入插件,它监听端口 5044,以接收从 Beats 发送的数据。Beats 是一组轻量级数据采集器,通常用于收集服务器日志和监控数据。
  2. Output 部分:该部分定义了输出插件,指定 Logstash 应该将接收到的数据发送到哪个目标。在这里,使用的是 Elasticsearch 输出插件,它将数据发送到 Elasticsearch 集群。你可以看到以下配置选项:

hosts:指定了 Elasticsearch 集群的主机地址和端口。在这里,数据将被发送到本地主机的 Elasticsearch 服务,端口为 9200。
index:定义了数据在 Elasticsearch 中的索引名称。这里使用了 Logstash 的动态索引命名,基于数据的 metadata 信息和日期来生成索引名称。
userpassword:这两行是被注释掉的,通常用于指定连接 Elasticsearch 集群所需的用户名和密码。如果 Elasticsearch 集群需要身份验证,你可以取消注释并提供正确的用户名和密码。

这个配置文件的作用是接收来自 Beats 的日志数据,并将其索引到 Elasticsearch 中,以便进行检索和分析。确保 Logstash 和 Elasticsearch 服务正在运行,并监听相应的端口(例如,5044 和 9200),以使这个配置文件正常工作。


以上只是示例,下面我们新建logstash-springboot.conf文件,这种类型的文件可以有多个。

  • 新建配置logstash-springboot.conf
input {tcp {mode => "server"host => "0.0.0.0"port => 5670codec => json_lines}
}
filter {}
output {elasticsearch {hosts => ["http://127.0.0.1:9200"]index => "log-goboy-dev-%{+yyyy.MM.dd}" }
}
  • 解释

这是 Logstash 配置文件,用于接收来自 TCP 输入的 JSON 格式日志数据,并将其发送到 Elasticsearch 中。

让我解释每个部分的配置:

Input 部分
tcp 插件被用作输入插件,它监听端口 5670并接受传入的 TCP 连接。
mode => "server" 表示 Logstash 将以服务器模式运行,等待来自客户端的连接。
host => "0.0.0.0" 指定 Logstash 应该接受所有网络接口上的连接,因此可以从任何 IP 地址连接到 Logstash。
port => 5670 指定监听的端口号为 5670。
codec => json_lines 表示接收到的数据将被解析为 JSON 格式的行。
Filter 部分:在你的配置中,过滤器部分是空的。这意味着 Logstash 不会对接收的数据进行进一步的处理或筛选。你可以在这部分添加过滤器插件,以根据需要对数据进行处理、转换或过滤。
Output 部分
elasticsearch 输出插件用于将数据发送到 Elasticsearch。
hosts => ["http://127.0.0.1:9200"] 指定了 Elasticsearch 集群的主机地址和端口。
index => "log-goboy-dev-%{+yyyy.MM.dd}" 定义了数据在 Elasticsearch 中的索引名称。这里使用 Logstash 的动态索引命名,基于日期来生成索引名称。

这个配置文件的作用是将通过 TCP 连接接收到的 JSON 格式的日志数据发送到 Elasticsearch 中,每天都会创建一个新的索引以便于日志的时间分割。确保 Logstash 和 Elasticsearch 服务正在运行,并监听相应的端口(例如,5044 和 9200),以使这个配置文件正常工作。如果需要对数据进行更多的处理,可以在过滤器部分添加适当的过滤器插件。


指定配置

编辑config/pipelines.yml文件

  • pipeline.id指定该管道id
  • path.config指定ES和logstash连接的配置文件,就是上一步新建的conf文件的绝对路径
- pipeline.id: log_devpath.config: "/usr/local/app/logstash-7.9.2/config/logstash-springboot.conf"
  • 切换到bin目录,执行
./logstash

完成

打印如下内容,则代表启动成功

请在此添加图片描述

注意

在安装和部署的过程中,注意版本之间的差异化。特别要主要安全组端口的开发情况!!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/464823.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

FBX福币交易所A股三大指数小幅低开 稀土永磁板块回调

查查配分析11月5日电 周二,A股三大指数小幅低开。沪指开盘跌0.10%报3306.81点,深证成指开盘跌0.09%报10653.20点,创业板指开盘跌0.05%报2184.90点。 FBX福币凭借用户友好的界面和对透明度的承诺,迅速在加密货币市场中崭露头角,成为广大用户信赖的平台。 来源:同花顺iFinD 盘面…

基于python深度学习的交通标志图像识别设计与实现,卷积神经网络(CNN)作为主要架构

摘要 随着自动驾驶技术的发展,交通标志的识别与理解在智能交通系统中扮演着越来越重要的角色。本文设计并实现了一个基于深度学习的交通标志图像识别系统,通过对交通标志识别基准数据集的分析与处理,建立了一套完整的图像识别流程。使用Pyth…

js WebAPI黑马笔记(万字速通)

此笔记来自于黑马程序员,pink老师yyds 复习: splice() 方法用于添加或删除数组中的元素。 注意: 这种方法会改变原始数组。 删除数组: splice(起始位置, 删除的个数) 比如:1 let arr [red, green, b…

跟李沐学AI:BERT

什么是NLP中的迁移学习 使用预训练好的模型来抽取词、句子的特征:Word2Vec或者预训练好的语言模型。 使用预训练好的语言模型,一般不会再对语言模型进行微调,即不进行更新。 Word2Vec一般用于替代embedding层 但是Word2Vec往往忽略了时序…

【ArcGIS】绘制各省碳排放分布的中国地图

首先,准备好各省、自治区、直辖市及特别行政区(包括九段线)的shp文件: 通过百度网盘分享的文件:GS(2022)1873 链接:https://pan.baidu.com/s/1wq8-XM99LXG_P8q-jNgPJA 提取码&#…

Unity照片墙效果

Unity照片墙效果,如下效果展示 。 工程源码

开源模型应用落地-glm模型小试-glm-4-9b-chat-批量推理(二)

一、前言 GLM-4是智谱AI团队于2024年1月16日发布的基座大模型,旨在自动理解和规划用户的复杂指令,并能调用网页浏览器。其功能包括数据分析、图表创建、PPT生成等,支持128K的上下文窗口,使其在长文本处理和精度召回方面表现优异&a…

计算机网络:网络层 —— 路由信息协议 RIP

文章目录 路由选择协议动态路由协议路由信息协议 RIPRIP 的重要特点RIP的基本工作过程RIP的距离向量算法RIP存在的问题RIP版本和相关报文的封装 路由选择协议 因特网是全球最大的互联网,它所采取的路由选择协议具有以下三个主要特点: 自适应&#xff1a…

算法:图的相关算法

图的相关算法 1. 图的遍历算法1.1 深度优先搜索1.2 广度优先搜索 2. 最小生成树求解算法普里姆(Prim)算法克鲁斯卡尔(Kruskal)算法 3. 拓扑排序4. 最短路径算法 1. 图的遍历算法 图的遍历是指从某个顶点出发,沿着某条搜索路径对图中的所有顶点进行访问且只访问次的…

PowerCat反弹Shell

PowerCat介绍 PowerCat是一个powershell写的tcp/ip瑞士军刀,可以看成ncat的powershell的实现,然后里面也 加入了众多好用的功能,如文件上传,smb协议支持,中继模式,生成payload,端口扫描等等。 …

A014-基于Spring Boot的家电销售展示平台设计与实现

🙊作者简介:在校研究生,拥有计算机专业的研究生开发团队,分享技术代码帮助学生学习,独立完成自己的网站项目。 代码可以查看文章末尾⬇️联系方式获取,记得注明来意哦~🌹 赠送计算机毕业设计600…

蓬勃发展:移动开发——关于软件开发你需要知道些什么

一、前言 移动开发一直都是软件开发领域中最有趣的领域之一,这是因为: 1、移动开发为“只有一个人”的开发团队提供了一个非常独特的机会,让他可以在相对较短的时间内建立一个实际的、可用的、有意义的应用程序; 2、移动开发也代…

RK3568平台开发系列讲解(字符设备驱动篇)注册字符设备

🚀返回专栏总目录 文章目录 一、字符设备初始化二、字符设备的注册和注销沉淀、分享、成长,让自己和他人都能有所收获!😄 📢注册字符设备可以分为两个步骤: 字符设备初始化字符设备的添加一、字符设备初始化 字符设备初始化所用到的函数为 cdev_init(…),在对该函数讲…

软件测试面试题个人总结

前面看到了一些面试题,总感觉会用得到,但是看一遍又记不住,所以我把面试题都整合在一起,都是来自各路大佬的分享,为了方便以后自己需要的时候刷一刷,不用再到处找题,今天把自己整理的这些面试题…

【Java语言】继承和多态(一)

继承 继承就是实现代码的复用;简而言之就是重复的代码作为父类(基类或超类),而不同的可以作为子类(派生类)。如果子类想要继承父类的成员就一定需要extends进行修饰(如:(…

关于我的编程语言——C/C++——第四篇(深入1)

(叠甲:如有侵权请联系,内容都是自己学习的总结,一定不全面,仅当互相交流(轻点骂)我也只是站在巨人肩膀上的一个小卡拉米,已老实,求放过) 字符类型介绍 char…

Golang | Leetcode Golang题解之第535题TinyURL的加密与解密

题目: 题解: import "math/rand"type Codec map[int]stringfunc Constructor() Codec {return Codec{} }func (c Codec) encode(longUrl string) string {for {key : rand.Int()if c[key] "" {c[key] longUrlreturn "http:/…

群控系统服务端开发模式-应用开发-业务架构逻辑开发第一轮测试

整个系统的第一个层次已经开发完毕,已经有简单的中控,登录、退出、延迟登录时长、黑名单、数据层封装、验证层封装、RSA加解密、Redis等功能,还缺获取个人、角色按钮权限、角色菜单权限功能。角色按钮权限以及角色菜单权限等明后天开发&#…

「C/C++」C/C++的区别

✨博客主页何曾参静谧的博客📌文章专栏「C/C」C/C程序设计📚全部专栏「VS」Visual Studio「C/C」C/C程序设计「UG/NX」BlockUI集合「Win」Windows程序设计「DSA」数据结构与算法「UG/NX」NX二次开发「QT」QT5程序设计「File」数据文件格式「PK」Parasoli…

PySpark 本地开发环境搭建与实践

目录 一、PySpark 本地开发环境搭建 (一)Windows 本地 JDK 和 Hadoop 的安装 (二)Windows 安装 Anaconda (三)Anaconda 中安装 PySpark (四)Pycharm 中创建工程 二、编写代码 …