ELK的日志解决方案

ELK的日志解决方案

ELK是什么

ELK 是一个缩写，代表 Elastic Stack，而不是三个独立的产品名称。Elastic Stack 是一个开源的数据处理和分析平台，用于实时搜索、分析和可视化大规模数据。ELK 是由三个主要的组件构成：

  1. Elasticsearch (ES): 一个分布式搜索引擎，用于实时存储和检索数据。它提供了强大的全文搜索能力和分布式性能，常用于存储和查询大规模的日志数据、指标数据等。
  2. Logstash (LS): 一个用于数据收集、过滤和转发的工具。Logstash 可以从各种来源（如日志文件、消息队列、数据库等）采集数据，然后进行处理和转换，最终将数据发送到 Elasticsearch 等目的地。
  3. Kibana (K): 一个用于数据可视化和仪表板创建的工具。Kibana 提供了一个直观的 Web 界面，使用户能够以图形化的方式探索、分析和可视化 Elasticsearch 中的数据。

这三个组件协同工作，形成了一个强大的数据处理和分析平台，被广泛用于日志分析、监控、安全分析等场景。Elastic Stack 还支持插件和扩展，使其能够与其他数据存储和处理工具集成，以满足各种复杂的需求。

elk架构图.png

ELK的优点

随着我们系统架构的不断升级，由单体转为分布式、微服务、网格系统等，用户访问产生的日志量也在不断增加，我们急需一个可以快速、准确查询和分析日志的平台。

  1. 实时搜索和分析： Elasticsearch 提供了强大的实时搜索和分析功能。它能够快速存储和检索大量的数据，使用户能够以实时方式探索和分析数据。
  2. 日志集中管理： Logstash 可以从多个来源（日志文件、消息队列、数据库等）集中收集、处理和转发数据，使日志管理变得更加集中和方便。
  3. 灵活的数据处理： Logstash 具有强大的数据处理能力，可以对收集到的数据进行过滤、转换和格式化，以适应特定的需求。这使得可以对原始数据进行预处理，以提高后续分析的效率。
  4. 直观的数据可视化： Kibana 提供了直观的 Web 界面，使用户能够轻松地创建仪表板、图表和可视化工具，以便更好地理解数据和趋势。
  5. 可扩展性： ELK Stack 是开源的，并且具有丰富的插件生态系统，可以扩展其功能以满足不同的需求。用户可以根据具体情况选择合适的插件或定制自己的解决方案。
  6. 广泛的应用场景： ELK Stack 被广泛应用于日志分析、系统监控、应用性能分析、安全信息和事件管理等领域。它提供了一个全面的解决方案，适用于各种复杂的数据处理和分析任务。

如何搭建ELK

本次使用docker来搭建ELK

1.搭建Elasticsearch

拉取镜像
docker pull elasticsearch:7.17.7
配置文件

创建三个空的文件夹

/usr/local/software/elk/elasticsearch/conf

/usr/local/software/elk/elasticsearch/data

/usr/local/software/elk/elasticsearch/plugins

[root@localhost elasticsearch]# tree
.
├── conf
├── data
└── plugins
3 directories, 0 files

在conf下创建elasticsearch.yml,修改权限777

[root@localhost conf]# touch elasticsearch.yml
[root@localhost conf]# chmod 777 elasticsearch.yml 
[root@localhost conf]# ll
总用量 0
-rwxrwxrwx. 1 root root 0 12月  5 11:03 elasticsearch.yml

修改内容为

http:host: 0.0.0.0cors:enabled: trueallow-origin: "*"
xpack:security:enabled: false
修改linux的vm.max_map_count
[root@localhost conf]#  sysctl -w vm.max_map_count=262144
vm.max_map_count = 262144
[root@localhost conf]#  sysctl -a|grep vm.max_map_count
sysctl: reading key "net.ipv6.conf.all.stable_secret"
sysctl: reading key "net.ipv6.conf.br-77cea35f59fa.stable_secret"
sysctl: reading key "net.ipv6.conf.default.stable_secret"
sysctl: reading key "net.ipv6.conf.docker0.stable_secret"
sysctl: reading key "net.ipv6.conf.enp4s0.stable_secret"
sysctl: reading key "net.ipv6.conf.lo.stable_secret"
sysctl: reading key "net.ipv6.conf.veth15fadfa.stable_secret"
sysctl: reading key "net.ipv6.conf.virbr0.stable_secret"
sysctl: reading key "net.ipv6.conf.virbr0-nic.stable_secret"
vm.max_map_count = 262144
创建运行容器
docker run  -itd \
--name es \
--privileged \
--network wn_docker_net \
--ip 172.18.12.60 \
-p 9200:9200 \
-p 9300:9300 \
-e "discovery.type=single-node" \
-e ES_JAVA_OPTS="-Xms4g -Xmx4g" \
-v /usr/local/software/elk/elasticsearch/conf/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /usr/local/software/elk/elasticsearch/data:/usr/share/elasticsearch/data \
-v /usr/local/software/elk/elasticsearch/plugins:/usr/share/elasticsearch/plugins \
elasticsearch:7.17.7

此时可能会报异常

修改elasticsearch文件夹下的权限

[root@localhost elk]# pwd
/usr/local/software/elk
[root@localhost elk]# chmod 777 elasticsearch/**

重启容器后浏览器输入192.168.100.128:9200（ip为你的虚拟机地址），看到这串json就是成功了

image-20231206201324636

2.搭建Kibana

拉取镜像
docker pull kibana:7.17.7
创建运行容器

-e中HOSTS的值为刚才在浏览器中获取json的地址

docker run -it \
--name kibana \
--privileged \
--network wn_docker_net \
--ip 172.18.12.71 \
-e "ELASTICSEARCH_HOSTS=http://192.168.100.128:9200" \
-p 5601:5601 \
-d kibana:7.17.7

浏览器访问192.168.100.128:5601

image-20231206201814994

看到这个界面即为成功

ES的分词器

访问7.17.7 · Releases · medcl/elasticsearch-analysis-ik (github.com)下载分词器

上传分词器到linux

image-20231205140956098

进入容器

创建一个文件夹ik

:/usr/share/elasticsearch/plugins/ik

拷贝分词器到容器中ik文件夹

[root@localhost plugins]# docker cp elasticsearch-analysis-ik-7.17.7.zip es:/usr/share/elasticsearch/plugins/ik

进入容器解压分词器

unzip elasticsearch-analysis-ik-7.17.7.zip

重启容器

docker restart  es
kibana查看

点击侧边栏

image-20231206203323060

GET _analyze
{"analyzer": "ik_smart", "text": "我是中国人，中国会富强"
}

image-20231205141840605

自定义分词器

进入容器的ik/config文件

image-20231206204039867

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties><comment>IK Analyzer 扩展配置</comment><!--用户可以在这里配置自己的扩展字典 --><entry key="ext_dict"></entry><!--用户可以在这里配置自己的扩展停止词字典--><entry key="ext_stopwords"></entry><!--用户可以在这里配置远程扩展字典 --><!-- <entry key="remote_ext_dict">words_location</entry> --><!--用户可以在这里配置远程扩展停止词字典--><!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

创建一个自己的分词文件ext_dict.dic

牢大

image-20231206204714671

3.搭建Logstash

拉取镜像
[root@localhost ~]# docker pull logstash:7.17.7
创建运行容器
docker run -it \
--name logstash \
--privileged \
-p 5044:5044 \
-p 9600:9600 \
--network wn_docker_net \
--ip 172.18.12.72 \
-v /etc/localtime:/etc/localtime \
-d logstash:7.17.7
容器配置

创建三个文件

logstash.yml

path.logs: /usr/share/logstash/logs
config.test_and_exit: false
config.reload.automatic: false
http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://192.168.100.128:9200" ]

piplelines.xml

- pipeline.id: mainpath.config: "/usr/share/logstash/pipeline/logstash.conf"

logstash.conf

input {tcp {mode => "server"host => "0.0.0.0"port => 5044codec => json_lines}
}
filter{
}
output {elasticsearch {hosts => ["192.168.100.128:9200"]       #elasticsearch的ip地址 index => "ssc-logs"                          #索引名称}stdout { codec => rubydebug }
}

将这三个文件拷贝到容器中

[root@woniu logstash]# docker cp logstash.yml logstash:/usr/share/logstash/config
[root@woniu logstash]# docker cp pipelines.yml logstash:/usr/share/logstash/config/
[root@woniu logstash]# docker cp logstash.conf logstash:/usr/share/logstash/pipeline

重启容器

[root@woniu logstash]# docker restart logstash
1

访问192.168.100.128:9600（你自己的虚拟机ip:9600），出现如下页面表示成功

image-20231206211229820

Spring Boot整合ELK

引入依赖（ES和Logback）

<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency><dependency><groupId>net.logstash.logback</groupId><artifactId>logstash-logback-encoder</artifactId><version>7.3</version>
</dependency>

application.yml配置

spring:elasticsearch:uris: http://192.168.100.128:9200data:elasticsearch:repositories:enabled: true

Logstash的配置

<?xml version="1.0" encoding="UTF-8"?>
<!-- 日志级别从低到高分为TRACE < DEBUG < INFO < WARN < ERROR < FATAL，如果设置为WARN，则低于WARN的信息都不会输出 -->
<!-- scan:当此属性设置为true时，配置文档如果发生改变，将会被重新加载，默认值为true -->
<!-- scanPeriod:设置监测配置文档是否有修改的时间间隔，如果没有给出时间单位，默认单位是毫秒。当scan为true时，此属性生效。默认的时间间隔为1分钟。 -->
<!-- debug:当此属性设置为true时，将打印出logback内部日志信息，实时查看logback运行状态。默认值为false。 -->
<configuration scan="true" scanPeriod="10 seconds"><!--1. 输出到控制台--><appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender"><!--此日志appender是为开发使用，只配置最低级别，控制台输出的日志级别是大于或等于此级别的日志信息--><filter class="ch.qos.logback.classic.filter.ThresholdFilter"><level>DEBUG</level></filter><encoder><pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} -%5level ---[%15.15thread] %-40.40logger{39} : %msg%n</pattern><!-- 设置字符集 --><charset>UTF-8</charset></encoder></appender><!-- 2. 输出到文件  --><appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender"><!--日志文档输出格式--><append>true</append><encoder><pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} -%5level ---[%15.15thread] %-40.40logger{39} : %msg%n</pattern><charset>UTF-8</charset> <!-- 此处设置字符集 --></encoder></appender><!--LOGSTASH config --><appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender"><destination>192.168.100.128:5044</destination><encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"><!--自定义时间戳格式， 默认是yyyy-MM-dd'T'HH:mm:ss.SSS<--><timestampPattern>yyyy-MM-dd HH:mm:ss</timestampPattern><customFields>{"appname":"App"}</customFields></encoder></appender><root level="INFO"><appender-ref ref="CONSOLE"/><appender-ref ref="FILE"/><appender-ref ref="LOGSTASH"/></root></configuration>

ES实体类

@Data
@NoArgsConstructor
@AllArgsConstructor
@Document(indexName = "book_index",createIndex = true)
public class BookDoc {@Id@Field(type = FieldType.Long)private Long id;@Field(type = FieldType.Text)private String title;private String isbn;@Field(type = FieldType.Text)private String introduction;@Field(type = FieldType.Keyword)private String author;@Field(type = FieldType.Double)private BigDecimal price;@Field(type = FieldType.Date,format = DateFormat.year_month_day)private LocalDate createTime;
}

dao接口

@Repository
public interface IBookDocDao extends ElasticsearchRepository<BookDoc, Long> {List<BookDoc> findBookDocByAuthorAndTitleAndIntroduction(String author, String title, String introduction);
}

service

@Service
public class BookDocServiceImpl implements IBookDocService {@Autowiredprivate IBookService bookService;@Autowiredprivate IBookDocDao bookDocDao;@Overridepublic void loadFromDb() {List<Book> bookList = bookService.findAll();for (Book book : bookList) {BookDoc bookDoc = new BookDoc();bookDoc.setId(book.getId());bookDoc.setTitle(book.getTitle());bookDoc.setAuthor(book.getAuthor());bookDoc.setIntroduction(book.getIntroduction());bookDoc.setIsbn(book.getIsbn());Date createTime = book.getCreateTime();Instant instant = createTime.toInstant();LocalDate localDate = instant.atZone(ZoneId.systemDefault()).toLocalDate();bookDoc.setCreateTime(localDate);bookDocDao.save(bookDoc);}System.out.println("数据导入ES成功....");}@Overridepublic List<BookDoc> findAll() {Iterable<BookDoc> all = bookDocDao.findAll();List<BookDoc> collect = StreamSupport.stream(all.spliterator(), false).collect(Collectors.toList());return collect;}@Overridepublic List<BookDoc> findBookDocByAuthorAndTitleAndIntroduction(String author, String title, String introduction) {Iterable<BookDoc> all = bookDocDao.findBookDocByAuthorAndTitleAndIntroduction(author, title, introduction);List<BookDoc> collect = StreamSupport.stream(all.spliterator(), false).collect(Collectors.toList());return collect;}
}

controller

先使用findAll把数据写入Elasticserch，然后就可以用Logstash条件查询了

@Slf4j
@RestController
@RequestMapping("/api/query")
public class QueryController {@Autowiredprivate IBookDocService ibs;@GetMapping("/helloLog")public HttpResp helloLog() {List<BookDoc> all = ibs.findAll();log.debug("从es查询到的数据:{}", all);log.debug("我是来测试logstash是否工作的");return HttpResp.success(all.subList(0, 100));}@GetMapping("/searchBook")public HttpResp searchBook(String author, String title, String introduction) {List<BookDoc> all = ibs.findBookDocByAuthorAndTitleAndIntroduction(author, title, introduction);log.debug("从es查询到的数据:{}", all);log.debug("我是来测试logstash是否工作的");return HttpResp.success(all.subList(0, 100));}
}

image-20231206212452796

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/214510.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

[MySQL--进阶篇]存储引擎的体系结构、简介、特点、选择

[MySQL--进阶篇]存储引擎的体系结构、简介、特点、选择

前言 ⭐Hello!这里是欧_aita的博客。 ⭐今日语录&#xff1a;不要在乎别人怎么看你&#xff0c;因为他们根本就没有时间&#xff0c;他们只关心他们自己。 ⭐个人主页&#xff1a;欧_aita ψ(._. )>⭐个人专栏&#xff1a; 数据结构与算法 MySQL数据库 存储引擎 前言MySQL体…
阅读更多...
泽攸科技桌面型扫描电子显微镜（SEM）技术解析

泽攸科技桌面型扫描电子显微镜（SEM）技术解析

台式扫描电子显微镜是一种利用电子束扫描样品表面并检测样品反射或发射的电子信号&#xff0c;从而获得样品表面形貌、结构和成分信息的仪器。它的工作原理是由电子枪发出的电子束经过栅极静电聚焦后成为直径50微米的点光源&#xff0c;然后在加速电压作用下&#xff0c;经两三…
阅读更多...
分类预测 | SSA-HKELM-Adaboost麻雀算法优化混合核极限学习机的数据分类预测

分类预测 | SSA-HKELM-Adaboost麻雀算法优化混合核极限学习机的数据分类预测

分类预测 | SSA-HKELM-Adaboost麻雀算法优化混合核极限学习机的数据分类预测 目录 分类预测 | SSA-HKELM-Adaboost麻雀算法优化混合核极限学习机的数据分类预测分类效果基本描述程序设计参考资料 分类效果 基本描述 1.SSA-HKELM-Adaboost麻雀算法优化混合核极限学习机的数据分类…
阅读更多...
【Spring Boot 源码学习】ApplicationListener 详解

【Spring Boot 源码学习】ApplicationListener 详解

Spring Boot 源码学习系列 ApplicationListener 详解 引言往期内容主要内容1. 初识 ApplicationListener2. 加载 ApplicationListener3. 响应应用程序事件 总结 引言 书接前文《初识 SpringApplication》&#xff0c;我们从 Spring Boot 的启动类 SpringApplication 上入手&am…
阅读更多...
我对迁移学习的一点理解——领域适应（系列3）

我对迁移学习的一点理解——领域适应（系列3）

文章目录 1. 领域适应&#xff08;Domain Adaptation&#xff09;的基本概念2.领域适应&#xff08;Domain Adaptation&#xff09;的目标3.领域适应&#xff08;Domain Adaptation&#xff09;的实现方法4.领域适应&#xff08;Domain Adaptation&#xff09;的可以解决的问题…
阅读更多...
RC522（RFID射频模块）读卡ID的简单应用

RC522（RFID射频模块）读卡ID的简单应用

文章目录 一、RFID是什么&#xff1f;二、RC522模块三、使用步骤1.硬件1.硬件连接2.引脚定义 2.软件1.初始化配置代码如下&#xff08;示例&#xff09;&#xff1a;2.引脚配置代码如下&#xff08;示例&#xff09;&#xff1a;3.模块复位代码如下&#xff08;示例&#xff09…
阅读更多...
芯片量产导入知识

芯片量产导入知识

什么是芯片量产 从芯片功能设计到生产制造、测试等环节&#xff0c;每一个环节都至关重要。 对于保障大规模发货后芯片指标表现的一致性&#xff0c;以及产品应用生命周期内的稳定性和可靠性&#xff0c;需要考虑多种因素。以下是一些相关的观点&#xff1a; 可量产性设计&am…
阅读更多...
蓝桥杯2021年5月青少组Python程序设计国赛真题

蓝桥杯2021年5月青少组Python程序设计国赛真题

30 个人在一条船上,超载&#xff0c;需要 15 人下船于是人们排成一队&#xff0c;排队的位置即为他们的编号。报数,从1开始,数到9的人下船。如此循环,直到船上仅剩15 人为止&#xff0c;问都有哪些编号的人下船了呢? 2】判断101-200之间有多少个素数&#xff0c;并输出所有素数…
阅读更多...
零基础一看就会？Python实现性能自动化测试竟然如此简单

零基础一看就会？Python实现性能自动化测试竟然如此简单

一、思考❓❔ 1.什么是性能自动化测试? 性能 系统负载能力超负荷运行下的稳定性系统瓶颈自动化测试 使用程序代替手工提升测试效率性能自动化 使用代码模拟大批量用户让用户并发请求多页面多用户并发请求采集参数&#xff0c;统计系统负载能力生成报告 2.Python中的性能自动化…
阅读更多...
TCP数据粘包的处理

TCP数据粘包的处理

TCP数据粘包的处理 背锅侠TCP解决方案2.1 发送端2.2 接收端 背锅侠TCP 在前面介绍套接字通信的时候说到了TCP是传输层协议&#xff0c;它是一个面向连接的、安全的、流式传输协议。因为数据的传输是基于流的所以发送端和接收端每次处理的数据的量&#xff0c;处理数据的频率可…
阅读更多...
周周爱学习之Redis重点总结

周周爱学习之Redis重点总结

redis重点总结 在正常的业务流程中&#xff0c;用户发送请求&#xff0c;然后到缓存中查询数据。如果缓存中不存在数据的话&#xff0c;就会去数据库查询数据。数据库中有的话&#xff0c;就会更新缓存然后返回数据&#xff0c;数据库中也没有的话就会给用户返回一个空。 1.缓…
阅读更多...
Cephadm部署使用rgw对象网关（s3cmd和Java）

Cephadm部署使用rgw对象网关（s3cmd和Java）

文章目录 前提重要概念部署rgw使用对象存储&#xff08;s3cmd&#xff09;创建radosgw user安装s3cmd配置s3cmds3cmd使用 使用对象存储&#xff08;Java代码&#xff09;引入依赖编码测试 参考 前提 RGW的部署基于以下集群&#xff0c;集群信息如下&#xff1a; 重要概念 区域…
阅读更多...
网页设计中增强现实的兴起

网页设计中增强现实的兴起

目录 了解增强现实 增强现实的历史背景 AR 和网页设计的交叉点 AR 在网页设计中的优势 增强参与度和互动性 个性化的用户体验 竞争优势和品牌差异化 AR 在网页设计中的用例 结论 近年来&#xff0c;增强现实已成为一股变革力量&#xff0c;重塑了我们与数字领域互动的方式。它被…
阅读更多...
科研绘图配色方案

科研绘图配色方案

科研绘图配色方案 在撰写论文的时候&#xff0c;美观&#xff0c;大气&#xff0c;上档次的图表能够很好地给自己的论文加分。但是在绘制图表的时候往往会面临色彩搭配的问题&#xff0c;选择合适的色彩搭配能够有效地展示自己的方法&#xff0c;但是色彩搭配选择不当的话往往会…
阅读更多...
coding创建远程分支。并拉取远程新分支+推送代码

coding创建远程分支。并拉取远程新分支+推送代码

进入coding ----项目----代码仓库---点击 下拉之后查看全部----创建分支 创建分支之后执行下面命令 git branch -a // 查看所有分支 这个时候发现自己创建的分支没有显示这是因为自己在远程创建了分支但是本地还没有分支 执行 git fetch命令 用于从远程仓库获取最新的提交…
阅读更多...
《深入理解计算机系统》学习笔记 - 第四课 - 浮点数

《深入理解计算机系统》学习笔记 - 第四课 - 浮点数

Floating Point 浮点数 文章目录 Floating Point 浮点数分数二进制示例能代表的数浮点数的表示方式浮点数编码规格化值规格化值编码示例 非规格化的值特殊值 示例IEEE 编码的一些特殊属性四舍五入&#xff0c;相加&#xff0c;相乘四舍五入四舍五入的模式二进制数的四舍五入 浮…
阅读更多...
2024 年甘肃省职业院校技能大赛中职组 电子与信息类“网络安全”赛项竞赛样题-A

2024 年甘肃省职业院校技能大赛中职组 电子与信息类“网络安全”赛项竞赛样题-A

2024 年甘肃省职业院校技能大赛中职组 电子与信息类“网络安全”赛项竞赛样题-A 目录 2024 年甘肃省职业院校技能大赛中职组 电子与信息类“网络安全”赛项竞赛样题-A 需要环境或者解析可以私信 &#xff08;二&#xff09;A 模块基础设施设置/安全加固&#xff08;200 分&…
阅读更多...
golang学习笔记——sync.Pool

golang学习笔记——sync.Pool

文章目录 sync.Pool示例sync.Pool数据结构TCP连接池总结参考资料 sync.Pool示例 代码 sync.Pool对外提供的New、Get和Put方法。 var buffers sync.Pool{New: func() interface{} { return new(bytes.Buffer)}, }func GetBuffer() *bytes.Buffer {return buffers.Get().(*byt…
阅读更多...
怎么查看mysql Connector/J实现的JDBC规范的版本号

怎么查看mysql Connector/J实现的JDBC规范的版本号

打开mysql-connector-j的jar包&#xff0c;例如mysql-connector-j-8.2.0.jar&#xff0c;在Jar包的META-INF目录下面有个MANIFEST.MF文件&#xff0c;打开该文件&#xff1a; 文件内容中Specification-Version: 4.2这一项&#xff0c;就代表实现的JDBC规范的版本号&#xff0c…
阅读更多...
忘记PDF密码了，怎么办？

忘记PDF密码了，怎么办？

PDF文件有两种密码&#xff0c;一个打开密码、一个限制编辑密码&#xff0c;因为PDF文件设置了密码&#xff0c;那么打开、编辑PDF文件就会受到限制。忘记了PDF密码该如何解密&#xff1f; PDF和office一样&#xff0c;可以对文件进行加密&#xff0c;但是没有提供恢复密码的功…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023