ELK日志收集

目前，各个微服务系统的日志都保存在各自指定的目录中，如果这些微服务部署在不同的服务器上，那么日志文件也是分散在各自的服务器上。分散的日志不利于我们快速通过日志定位问题，我们可以借助ELK来收集各个微服务系统的日志并集中展示。

ELK即Elasticsearch、Logstash和Kibana首字母缩写。Elasticsearch用于存储日志信息，Logstash用于收集日志，Kibana用于图形化展示。

搭建ELK环境

在Windwos上搭建ELK环境较为麻烦，这里我选择在CentOS7 上通过Docker来搭建ELK环境，对Docker基本使用不熟悉的同学可以参考 Docker基础教程。

在此之前，我们需要准备一台CentOS 7虚拟机。推荐大家使用Vagrant来创建，创建教程可以参考：使用Vagrant创建CentOS虚拟机。这里分享下我的Vagrantfile配置：

 Vagrant.configure("2") do |config|config.vm.box = "centos7"config.vm.network "private_network", ip: "192.168.33.10"config.vm.hostname = "febs"config.vm.provider "virtualbox" do |v|v.memory = 6144v.cpus = 2endend

上面配置了虚拟机的IP地址为192.168.33.10，hostname为febs，内存为6*1024MB（6144MB即6GB），cpu核心数为2。

安装docker

在CMD终端使用命令vagrant ssh连接虚拟机后，运行sudo -s切换到root用户，下面的示例都是用root用户完成的。

在Linux中安装Docker可以参考官方文档：CentOS | Docker Docs，主要分为下面这几步：

  1. 卸载旧版本Docker（如果系统之前没安装过Docker，可以跳过）：

 yum remove docker \docker-client \docker-client-latest \docker-common \docker-latest \docker-latest-logrotate \docker-logrotate \docker-engine

  1. 安装Docker所需要的包：

 yum install -y yum-utils \device-mapper-persistent-data \lvm2

  1. 设置稳定的仓库：

 yum-config-manager \--add-repo \https://download.docker.com/linux/centos/docker-ce.repo

  1. 安装最新版的Docker引擎：

 yum install docker-ce docker-ce-cli containerd.io

  1. 启动Docker：

 systemctl start docker

查看是否安装成功：

安装Docker Compose

安装好Docker后，我们接着安装Docker Compose，官方安装教程 Install | Docker Docs，主要步骤为：

  1. 获取Docker Compose的最新稳定版本：

 curl -L "https://github.com/docker/compose/releases/download/1.24.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

  1. 对二进制文件授予可执行权限：

 chmod +x /usr/local/bin/docker-compose

  1. 创建link：

 ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

查看是否安装成功：

Docker Compose搭建ELK

在搭建ELK之前，我们需要做一些准备工作。

正如官方所说的那样 Virtual memory | Elasticsearch Guide [8.15] | Elastic，Elasticsearch默认使用mmapfs目录来存储索引。操作系统默认的mmap计数太低可能导致内存不足，我们可以使用下面这条命令来增加内存：

 sysctl -w vm.max_map_count=262144

创建Elasticsearch数据挂载路径：

 mkdir -p /febs/elasticsearch/data

对该路径授予777权限：

 chmod 777 /febs/elasticsearch/data

创建Elasticsearch插件挂载路径：

 mkdir -p /febs/elasticsearch/plugins

创建Logstash配置文件存储路径：

 mkdir -p /febs/logstash

在该路径下创建logstash-febs.conf配置文件（没有安装vim的话可以使用yum install vim命令安装）：

 vim /febs/logstash/logstash-febs.conf

内容如下所示：

 input {tcp {mode => "server"host => "0.0.0.0"port => 4560codec => json_lines}}output {elasticsearch {hosts => "es:9200"index => "febs-logstash-%{+YYYY.MM.dd}"}}

创建ELK Docker Compose文件存储路径：

 mkdir -p /febs/elk

在该目录下创建docker-compose.yml文件：

 vim /febs/elk/docker-compose.yml

内容如下所示：

 version: '3'services:elasticsearch:image: elasticsearch:6.4.1container_name: elasticsearchenvironment:- "cluster.name=elasticsearch" #集群名称为elasticsearch- "discovery.type=single-node" #单节点启动- "ES_JAVA_OPTS=-Xms512m -Xmx512m" #jvm内存分配为512MBvolumes:- /febs/elasticsearch/plugins:/usr/share/elasticsearch/plugins- /febs/elasticsearch/data:/usr/share/elasticsearch/dataports:- 9200:9200kibana:image: kibana:6.4.1container_name: kibanalinks:- elasticsearch:es #配置elasticsearch域名为esdepends_on:- elasticsearchenvironment:- "elasticsearch.hosts=http://es:9200" #因为上面配置了域名，所以这里可以简写为http://es:9200ports:- 5601:5601logstash:image: logstash:6.4.1container_name: logstashvolumes:- /febs/logstash/logstash-febs.conf:/usr/share/logstash/pipeline/logstash.confdepends_on:- elasticsearchlinks:- elasticsearch:esports:- 4560:4560

切换到/febs/elk目录下，使用如下命令启动：

 docker-compose up -d

第一次启动的时候，Docker需要拉取ELK镜像，过程可能稍慢，耐心等待即可。成功启动后，观察容器运行情况：

145.png

三个容器都已经启动成功。

Logstash中安装json_lines插件

使用如下命令进入到Logstash容器中：

 docker exec -it logstash /bin/bash

切换到/bin目录，安装json_lines插件，然后退出：

使用浏览器访问http://192.168.33.10:5601便可以看到Kibana管理界面：

修改微服务日志配置

就目前微服务模块来说，我们比较关注febs-auth、febs-gateway、febs-server-system和febs-server-test模块的日志，所以我们分别在febs-auth、febs-gateway和febs-server模块的pom里引入Logstash依赖：

 <dependency><groupId>net.logstash.logback</groupId><artifactId>logstash-logback-encoder</artifactId><version>6.1</version></dependency>

然后在febs-auth、febs-gateway、febs-server-system和febs-server-test模块的日志配置文件logback-spring.xml里添加如下配置：

 <!--输出到 logstash的 appender--><appender name="logstash" class="net.logstash.logback.appender.LogstashTcpSocketAppender"><destination>192.168.33.10:4560</destination><encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/></appender>​......<root level="info">......<appender-ref ref="logstash" /></root>

192.168.33.10:4560对应我们刚刚搭建的Logstash地址。

演示

依次启动febs-register、febs-gateway、febs-auth、febs-server-system和febs-server-test模块，然后回到Kibana管理界面创建Kinaba Index Patterns：

在Index pattern里输入我们在logstash配置文件logstash-febs.conf里output.index指定的值febs-logstash-*：

点击Next Step，在下拉框里选择@timestamp：

最后点击Create Index Pattern按钮完成创建。

使用PostMan获取令牌：

然后发送一笔localhost:8301/test/hello?name=夏天请求：

在Kibana里搜索这笔日志：

日志收集成功。

整合ELK后，我们的系统架构图如下所示：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/457985.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

智能台灯设计（一）原理图设计

智能台灯设计（一）原理图设计

1. 前言 作者最近突发奇想&#xff0c;想自己做一个小台灯&#xff0c;设想的功能有&#xff1a;带锂电池可充电、可以调节亮度&#xff0c;后续通过增加WIFI模块实现手机控制开关功能。目前先实现最简单的功能&#xff0c;有时间再一步步完善吧。 2. 原理图设计 充电芯片使用…
阅读更多...
B端产品常用组件及设计规则 原型图 Axure原型图 交互设计

B端产品常用组件及设计规则 原型图 Axure原型图 交互设计

B端产品常用组件及设计规则 本作品总结整理了B端产品原型设计时常用的组件、设计指南、常用模板等。为原型设计人员提供实用的组件和指南&#xff0c;帮助他们快速灵活地构建出更加美观、高质量的产品原型&#xff0c;更加高效地完成原型设计工作。 原型演示地址&#xff1a;…
阅读更多...
【笔记】软件测试09——接口测试

【笔记】软件测试09——接口测试

九、接口测试 一）接口测试的概念 1）接口测试 通过数据包的方式观察客户端向服务器发送了什么请求，模拟这些请求的过程 接口测试是测试系统组件间数据交互的一种方式。 接口测试是通过测试不同情况下的输入参数和与之对应的输出结果来判断接口是否符合或满足相应 的功能性、…
阅读更多...
鸿蒙原生应用开发及部署：首选华为云，开启HarmonyOS NEXT App新纪元

鸿蒙原生应用开发及部署：首选华为云，开启HarmonyOS NEXT App新纪元

目录 前言 HarmonyOS NEXT&#xff1a;下一代操作系统的愿景 1、核心特性和优势 2、如何推动应用生态的发展 3、对开发者和用户的影响 华为云服务在鸿蒙原生应用开发中的作用 1、华为云ECS C系列实例 &#xff08;1&#xff09;全维度性能升级 &#xff08;2&#xff…
阅读更多...
人工智能进程；算子加速的具体计算部分；大模型GPT5：参数18万亿；大模型面临问题

人工智能进程；算子加速的具体计算部分；大模型GPT5：参数18万亿；大模型面临问题

目录 人工智能进程 算子加速的简单理解，举例说明 一、简单理解 二、举例说明 一、算子加速的具体计算部分 二、举例说明 三、算子加速是否仅针对GPU 大模型GPT5：参数18万亿 大模型面临问题 算力集群设计框架 人工智能进程
阅读更多...
论文阅读（二十六）：Dual Attention Network for Scene Segmentation

论文阅读（二十六）：Dual Attention Network for Scene Segmentation

文章目录 1.Introduction3.DANet3.1Position Attention Module3.2Channel Attention Module 论文&#xff1a;Dual Attention Network for Scene Segmentation   论文链接&#xff1a;Dual Attention Network for Scene Segmentation   代码链接&#xff1a;Github 1.Intr…
阅读更多...
C++——string的模拟实现（下）

C++——string的模拟实现（下）

目录 成员函数 3.4 修改操作 (3)insert()函数 (4)pop_back()函数 (5)erase()函数 (6)swap()函数 3.5 查找操作 (1)find()函数 (2)substr()函数 3.6 重载函数 (1)operator赋值函数 (2)其他比较函数 (3)流插入和流提取 完整代码 结束语 第一篇链接&#xff1a;C——…
阅读更多...
vue通过JSON文件生成KML文件源码

vue通过JSON文件生成KML文件源码

可以使用封装的json解析器进行JSON数据获取&#xff0c;读取点的经度、维度、高程等数据&#xff0c;再使用对应的KML文件生成函数使用该源码下载KML文件&#xff08;固定KML生成&#xff1a;js模板式生成大疆上云kml文件&#xff08;含详细注释&#xff0c;已封装成函数&#…
阅读更多...
unity中GameObject介绍

unity中GameObject介绍

在 Unity 中&#xff0c;Cube和Sphere等基本几何体是 Unity 引擎的内置预制体&#xff08;Prefabs&#xff09;&#xff0c;它们属于 Unity 中的GameObject 系统&#xff0c;可以在 Unity 的 Hierarchy 视图或 Scene 视图中右键点击&#xff0c;然后在弹出的菜单中选择 3D Obje…
阅读更多...
MySQL 数据出海之数据同步方案

MySQL 数据出海之数据同步方案

优质博文&#xff1a;IT-BLOG-CN 数据库出海流程 【1】业务出海&#xff1a;1&#xff09;数据库出海&#xff1b;2&#xff09;应用出海&#xff1b;3&#xff09;流量分发&#xff1b; 【2】数据库出海&#xff1a;涉及业务方、信安、DBA和框架组。 数据库出海&#xff0c…
阅读更多...
Go 语言基础教程：7.Switch 语句

Go 语言基础教程：7.Switch 语句

在这篇教程中&#xff0c;我们将学习 Go 语言中的 switch 语句&#xff0c;它是条件分支的重要结构。我们将通过一个示例程序逐步解析 switch 的不同用法。 package mainimport ("fmt""time" )func main() {i : 2fmt.Print("Write ", i, " …
阅读更多...
Python画笔案例-094 绘制 神奇彩条动画

Python画笔案例-094 绘制 神奇彩条动画

1、绘制 神奇彩条动画 通过 python 的turtle 库绘制 神奇彩条动画，如下图： 2、实现代码 绘制 神奇彩条动画，以下为实现代码： """神奇彩条动画.py一个用海龟画图的图章功能配合颜色渐变和动画原理做成的动画。 """ from random import randi…
阅读更多...
重学SpringBoot3-Spring WebFlux之SSE服务器发送事件

重学SpringBoot3-Spring WebFlux之SSE服务器发送事件

更多SpringBoot3内容请关注我的专栏&#xff1a;《SpringBoot3》 期待您的点赞&#x1f44d;收藏⭐评论✍ Spring WebFlux之SSE服务器发送事件 1. 什么是 SSE&#xff1f;2. Spring Boot 3 响应式编程与 SSE为什么选择响应式编程实现 SSE&#xff1f; 3. 实现 SSE 的基本步骤3.…
阅读更多...
MySQL-32.索引-操作语法

MySQL-32.索引-操作语法

一.语法 二.代码实现 指定某个字段为主键&#xff0c;其实就是建立一个主键索引。而指定某个字段唯一&#xff0c;就是建立一个唯一索引。 -- 索引 -- 创建&#xff1a;为tb_emp表的name字段建立一个索引 create index idx_emp_name on tb_emp(name);-- 查询&#xff1a;查…
阅读更多...
Handler、Looper、message进阶知识

Handler、Looper、message进阶知识

Android Handler、Looper、Message的进阶知识 在Android开发中&#xff0c;Handler、Looper和Message机制是多线程通信的核心。为了深入理解并优化它们的使用&#xff0c;尤其是在高并发和UI性能优化中&#xff0c;可以利用一些高级特性。 1. Handler的高阶知识 Handler在基本…
阅读更多...
Axure随机验证码高级交互

Axure随机验证码高级交互

亲爱的小伙伴&#xff0c;在您浏览之前&#xff0c;烦请关注一下&#xff0c;在此深表感谢&#xff01; 课程主题&#xff1a;字母数字随机验证码高级交互 主要内容&#xff1a;4位字母数字随机验证码生成、错误提示与State状态同步 应用场景&#xff1a;登录验证码、其他类…
阅读更多...
Linux - 文件描述符 | 文件系统 | 软硬链接

Linux - 文件描述符 | 文件系统 | 软硬链接

文章目录 一、文件描述符1、补充知识2、文件描述符是什么&#xff1f;3、处理文件的系统调用接口4、文件描述符的分配规则5、简单理解Linux下一切皆文件6、FILE7、重定向 二、文件系统三、软硬链接1、软连接2、硬链接3、软硬链接对比 一、文件描述符 1、补充知识 &#xff08;…
阅读更多...
5G NR：BWP入门

5G NR：BWP入门

简介 5G NR 系统带宽比4G LTE 大了很多&#xff0c;4G LTE 最大支持带宽为20MHz&#xff0c; 而5G NR 的FR1 最大支持带宽为100MHz&#xff0c; FR2 最大支持带宽为 400MHz。 带宽越大&#xff0c;意味了终端功耗越多。为了减少终端的功耗&#xff0c;5G NR 引入了BWP(Band Wid…
阅读更多...
从零实现数据结构：一文搞定所有排序！（下集）

从零实现数据结构：一文搞定所有排序！（下集）

1.快速排序 思路框架&#xff1a; 在有了前面冒泡选择插入希尔排序之后&#xff0c;人们就在想能不能再快一点&#xff0c;我们知道排序算法说人话就是把大的往后放小的往前放&#xff0c;问题就在于如何更快的把大的挪到数组队尾小的挪到数组前面。这里我们先总结一下上集前…
阅读更多...
NVR录像机汇聚管理EasyNVR多品牌NVR管理工具/设备视频报警功能详解

NVR录像机汇聚管理EasyNVR多品牌NVR管理工具/设备视频报警功能详解

在科技日新月异的今天&#xff0c;视频监控系统作为现代社会的“第三只眼”&#xff0c;正以前所未有的方式深刻影响着我们的生活与社会结构。从公共场所的安全监控到个人生活的记录分享&#xff0c;视频监控系统以其独特的视角和功能&#xff0c;为社会带来了诸多好处&#xf…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023