Ubuntu服务器ELK部署与实践

文章目录

    • 1. Docker安装
    • 2. 拉镜象
      • 2.1 ElastciSearch
      • 2.2 Kibana
      • 2.3 logstash
    • 3. 数据展示

1. Docker安装

看之前的文章
docker ubuntu完全卸载docker及再次安装
Ubuntu安装 Docker

此外,Docker偶尔会出现这种问题dial tcp: lookup registry-1.docker.io on 192.168.1.1:53: no such host

参考Docker----执行docker pull 下载镜像时报dial tcp: lookup registry-1.docker.io on 192.168.1.1:53: no such host错误的解决办法

  1. 修改“/etc/resolv.conf”, 增加几个nameserver
nameserver 8.8.8.8
nameserver 8.8.4.4
  1. 再执行如下两条命令即可
systemctl daemon-reload
systemctl restart docker

2. 拉镜象

参考https://blog.csdn.net/at1358/article/details/114921506

#下载ELK使用的镜像
docker pull elasticsearch:7.8.0
docker pull kibana:7.8.0
docker pull logstash:7.8.0
docker pull mobz/elasticsearch‐head:5

2.1 ElastciSearch

#安装elasticsearch,创建一个elk文件夹, 后面的elk日志采集系统的配置文件都放在这里面
#创建elk使用配置文件的目录
mkdir -p /data/elk#创建es使用的目录
mkdir  /data/elk/conf -p#配置es的配置文件
cat >/data/elk/conf/elasticsearch.yml<<'EOF'
cluster.name: "docker-cluster"
network.host: 0.0.0.0
# 访问ID限定,0.0.0.0为不限制,生产环境请设置为固定IP
transport.host: 0.0.0.0
# elasticsearch节点名称
node.name: node-1
# elasticsearch节点信息
cluster.initial_master_nodes: ["node-1"]
# 下面的配置是关闭跨域验证可以实现浏览器查看es的数据
http.cors.enabled: true
http.cors.allow-origin: "*"
EOF#创建es使用的存储卷把数据映射出来
[root@centos7 ~]# docker volume create elasticsearch
elasticsearch#创建并启动elasticsearch容器
docker run -di -p 9200:9200 -p 9300:9300 --name=elasticsearch -v /data/elk/conf/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml   --mount src=elasticsearch,dst=/usr/share/elasticsearch elasticsearch:7.6.0
#把宿主机的配置文件映射到es作为配置文件
/data/elk/conf/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
#把es的容器安装目录映射到宿主机
--mount src=elasticsearch,dst=/usr/share/elasticsearch#创建成功
[root@centos7 elasticsearch]# docker run -di -p 9200:9200 -p 9300:9300 --name=elasticsearch -v /data/elk/elasticsearch/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml   --mount src=elasticsearch,dst=/usr/share/elasticsearch elasticsearch:7.6.0
317d2a274ec64500c44a7c8c0bea60175c2183a66e8e6e8a5554bc223e836e58#对存储卷创建软连接实现快速访问
/data/docker/volumes/elasticsearch/_data/
ln -s /data/docker/volumes/elasticsearch/_data/ /data/elk/es

Elasticsearch使用9200端口作为HTTP REST API的默认端口,用于与客户端进行通信。而9300端口是Elasticsearch节点之间进行通信的默认端口,用于集群内部的节点间通信。

接下来测试安装是否完成。注意:下面的命令有可能有问题,curl瞬间docker就炸了


#测试是否安装成功
[root@centos7 es]# curl 127.0.0.1:9200
{"name" : "node-1","cluster_name" : "docker-cluster","cluster_uuid" : "CK6xnBvaTciqRtWhjZf7WA","version" : {"number" : "7.6.0","build_flavor" : "default","build_type" : "docker","build_hash" : "7f634e9f44834fbc12724506cc1da681b0c3b1e3","build_date" : "2020-02-06T00:09:00.449973Z","build_snapshot" : false,"lucene_version" : "8.4.0","minimum_wire_compatibility_version" : "6.8.0","minimum_index_compatibility_version" : "6.0.0-beta1"},"tagline" : "You Know, for Search"
}
注意:如果需要添加插件时,需要将容器的插件目录映射到实际的路径中或者通过命令
(如安装ik分词器:docker cp ik elasticsearch:/usr/share/elasticsearch/plugins/)将其拷贝到容器中

解决方案参考docker启动es(解决9200端口访问不到)

  1. 检查docker启动的logdocker logs -f 容器id
  2. 发现虚拟内存开的太小了
  3. 修改虚拟内存参数
# 查看参数大小
cat /proc/sys/vm/max_map_count
# 设置参数
sysctl -w vm.max_map_count=262144

由于暴露端口可能导致信息泄露或者遭受攻击
(你的Elasticsearch在“裸奔”吗?),因此建议不要暴露端口

2.2 Kibana

#安装kibana
#kibana主要用于对elasticsearch的数据进行分析查看。注意选择的版本必须和elasticsearch的版本相同或者低,建议和elasticsearch的版本相同,否则会无法将无法使用kibana。#创建配置文件
cat >/data/elk/conf/kibana.yml<<'EOF'
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://127.0.0.1:9200"]
# 操作界面语言设置为中文
i18n.locale: "zh-CN"
EOF#创建kibana使用的容器卷
docker volume create kibana#创建并启动kibana容器
docker run -di --name kibana -p 5601:5601 -v /data/elk/conf/kibana.yml:/usr/share/kibana/config/kibana.yml --mount src=kibana,dst=/usr/share/kibana kibana:7.8.0
#把宿主机的kibana配置文件映射到容器内部# -v /data/elk/conf/kibana.yml:/usr/share/kibana/config/kibana.yml
#把容器内的kibana的安装目录映射到宿主机的容器卷方便管理
# --mount src=kibana,dst=/usr/share/kibana#创建kibana容器卷的软连接方便管理
ln -s /data/docker/volumes/kibana/_data/ /data/elk/kibana

此时直接curl 127.0.0.1:5601,有可能遇到问题Kibana server is not ready yet,解决方法参考kibana解决Kibana server is not ready yet问题

方法1(对我有效)
将配置文件kibana.yml中的elasticsearch.url改为正确的链接,默认为: http://elasticsearch:9200 或者 http://127.0.0.1:9200 ,改为http://自己的IP地址 或者 docker的地址:9200

至于为什么有效,是因为这里的localhost是容器内的localhost,如果es在另一个容器中就访问不到了。

docker0 是 Docker 引擎创建的默认网络桥接接口。当你在 Docker 中创建容器时,默认情况下,Docker 会为每个容器分配一个虚拟网络接口,并将其连接到 docker0 网桥上。

docker0 网桥充当了 Docker 主机和容器之间的网络桥梁。它的主要作用是实现容器与 Docker 主机以及其他容器之间的通信。通过 docker0 网桥,Docker 主机可以与容器进行网络通信,并提供容器之间的网络互连性。

在这里插入图片描述
我也是给改成了docker的地址变好了
在这里插入图片描述
方法2 关闭防火墙

# 关闭之后再查看防火墙状态
systemctl stop firewalld.service
systemctl status firewalld.service# 永久关闭防火墙,重启系统也不会开启防火墙
systemctl disable firewalld.service

2.3 logstash

logstash的配置比较复杂

1. 首先启动容器,获取配置文件

# 启动容器
docker run -d --name=logstash logstash:7.2.0# 查看日志
docker logs -f logstash

直到最后有successfully字段即可

2. 创建所需要的挂载文件,并拷贝配置

# 创建文件夹,用于保存同步用的conf文件
mkdir -p /opt/docker/logstash/config/conf.d
# 拷贝配置
docker cp logstash:/usr/share/logstash/config /opt/docker/logstash/
docker cp logstash:/usr/share/logstash/data /opt/docker/logstash/
docker cp logstash:/usr/share/logstash/pipeline/opt/docker/logstash/

修改配置logstash.yml

http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://127.0.0.1:9200" ] # 如果在docker中,则使用docker的ip address或者服务器IP(需要保证服务器公网可以访问)
#path.config: /usr/share/logstash/config/conf.d/*.conf
path.logs: /usr/share/logstash/logs

递归为文件夹赋予权限

chmod -R 777 logstash/

3. 命令行启动
删除之前的容器,重新启动一个新的容器

docker run \
--name logstash \
--restart=always \
-p 5044:5044 \
-p 9600:9600 \
-e ES_JAVA_OPTS="-Duser.timezone=Asia/Shanghai" \
-v /opt/docker/logstash/config:/usr/share/logstash/config \
-v /opt/docker/logstash/data:/usr/share/logstash/data \
-v /opt/docker/logstash/pipeline:/usr/share/logstash/pipeline \
-d logstash:7.8.0

4. 配置mysql自动同步
首先确认是否有 logstash-input-jdbc插件,一般7.x版本都默认有。

# 进入容器
docker exec -it logstash bash# 查询是否有 logstash-input-jdbc
./bin/logstash-plugin list --verbose# 如果没有就安装插件(一般默认安装)
./bin/logstash-plugin install logstash-input-jdbc# 退出容器
exit

在conf路径下创建jdbc.conf文件,格式如下

 input{jdbc{# 连接数据库jdbc_connection_string => "jdbc:mysql://47.108.13.175:3306/edu?serverTimezone=Asia/Shanghai&characterEncoding=utf8&useSSL=false"jdbc_user => "root"jdbc_password => "HBcloud.1024"# 连接数据库的驱动包jdbc_driver_library => "/usr/share/logstash/config/jars/mysql-connector-java-8.0.20.jar"jdbc_driver_class => "com.mysql.cj.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"codec => plain { charset => "UTF-8" }# 数据追踪# 追踪的字段 # 在配置中,tracking_column 参数的值应该是你的数据库表中的一个列名,该列的值会随着数据的插入而递增或变化。jdbc 输入插件将使用这个列的值来确定从数据库中检索哪些新的数据。tracking_column => "update_time"# 上次追踪的元数据存放位置last_run_metadata_path => "/usr/share/logstash/config/lastrun/logstash_jdbc_last_run"# 设置时区jdbc_default_timezone => "Asia/Shanghai"  # sql 文件地址# statement_filepath => ""# sql 注意:一定需要sql_last_value# 这里的SQL语言需要保证和mysql中一致,比如用了MySQL的关键字定义的列名,那就需要`{列名}`的方式进行搜索statement => "SELECT g.merchant_id AS id,g.nickname AS nickname,g.avatar_name AS avatarName,g.`desc` AS `desc`,g.contacts AS contacts,g.province AS province,g.city AS city,g.district AS district,g.address AS address, ST_AsText(g.coordinate) AS coordinate FROM wbc_merchant g WHERE g.update_time > :sql_last_value"# 是否清除 last_run_metadata_path 的记录,如果为真那么每次都相当于从头开始查询所有的数据库记录clean_run =>false# 这是控制定时的,重复执行导入任务的时间间隔,第一位是分钟 不设置就是1分钟执行一次schedule => "* * * * *"}
}
output{elasticsearch{# 要导入到的Elasticsearch所在的主机hosts => "132.232.41.245:9200"# 要导入到的Elasticsearch的索引的名称index => "merchant_index"# 类型名称(类似数据库表名)document_type => "merchanteso"# 主键名称(类似数据库表名),必须是唯一ID# 如果想要保证你的数据库不出现重复的数值,那就要好好设置他# 我的方案是和tracking_column一致,但这样可能会导致无法插入新数据,因此document_id必须得是唯一的document_id => "%{id}"}stdout{# JSON 格式输出codec => json_lines} 
}

需要注意的是这里需要下载jar文件,可以参考这片博客不同版本mysql-connector-java的jar包下载地址。下载后将压缩包解压到本机(非docker)/opt/docker/logstash/config的路径下,并提取出jar文件。

此外,elasticsearch的hosts和yaml文件中的保持一致即可。

3. 数据展示

1. 加入索引
根据{IP}:5601访问kibana,对于刚刚插入数据库的数据进行检索。
在这里插入图片描述
输入索引,并选择时间字段。

在这里插入图片描述
在这里插入图片描述
完成上面一步就ok了

2. 展示数据
进入discover展示数据
在这里插入图片描述

注意:如果时间字段用的过去的时间,而不是插入数据库的时间,需要在搜索的时候需要格外注意时间设置,比如我用的是新闻发布的时间作为时间字段
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/76157.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

在 3ds Max 中使用相机映射将静止图像转换为实时素材

推荐&#xff1a; NSDT场景编辑器 助你快速搭建可二次开发的3D应用场景 1. 在 Photoshop 中准备图像 步骤 1 这是我将在教程中使用的静止图像。 这是我的静态相机纸箱的快照。 静止图像 步骤 2 打开 Photoshop。将图像导入 Photoshop。 打开 Photoshop 步骤 3 单击套索工…

Python---Numpy

文章目录 1.Numpy是什么&#xff1f;2.ndarray2.1 什么是ndarray?2.2 ndarray的属性2.3 ndarray的类型 3.Numpy基本操作3.1 生成0或1的数组3.2 从现有数组生成数组拓展&#xff1a;浅拷贝和深拷贝 3.3 生成固定范围的数组3.4 生成随机数组3.4.1 正态分布3.4.2 均匀分布 3.5 形…

【HashMap原理解析】

HashMap面试问题 集合概述单列集合双列集合HashTableProperties HashMap底层数据结构哈希表哈希冲突拉链法开放定址法 红黑树红黑树定义红黑树非红黑树 红黑树的插入链表和红黑树在HashMap中的体现 HashMap的扩容机制HashMap初始化HashMap扩容先添元素后扩容什么情况下扩容怎么…

C语言案例 不重复数字输出--01

题目&#xff1a;有 1、2、3、4 四个数字&#xff0c;能组成多少个互不相同且无重复数字的三位数&#xff1f;都是多少&#xff1f; 步骤一&#xff1a;定义程序目标 编写一个C程序&#xff0c;使用1、2、3、4四个数字组成不相同且不重复的三位数&#xff0c;分别显示出来…

性能测试基础知识(三)性能指标

性能测试基础知识&#xff08;三&#xff09;性能指标 前言一、时间特性1、响应时间2、并发数3、吞吐量&#xff08;TPS&#xff09; 二、资源特性1、CPU利用率2、内存利用率3、I/O利用率4、网络带宽使用率5、网络传输速率&#xff08;MB/s&#xff09; 三、实例场景 前言 性能…

使用Golang实现一套流程可配置,适用于广告、推荐系统的业务性框架——组合应用

在《使用Golang实现一套流程可配置&#xff0c;适用于广告、推荐系统的业务性框架——简单应用》中&#xff0c;我们看到了各种组合Handler的组件&#xff0c;如HandlerGroup和Layer。这些组件下面的子模块又是不同组件&#xff0c;比如LayerCenter的子组件是Layer。如果此时我…

ELFK——ELK结合filebeat日志分析系统(2)

目录 一、filebeat 二、ELFK 1.原理简介 2.在ELK基础上部署filebeat 一、filebeat Filebeat&#xff0c;轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat&#xff0c;并指定目录与日志格式&#xff0c;Filebeat 就能快速收集数据&#xff0c;并…

echarts-pie---------3D曲状环形饼图实现!!!

示例&#xff08;参考此处饼图修改https://www.isqqw.com/viewer?id37497&#xff09; 话不多说直接上代码 此套代码可以直接再echarts官网中的此处运行 let selectedIndex ; let hoveredIndex ; option getPie3D([{name: 数学,value: 60,itemStyle: {color: #1890FF,},},{…

RTT学习笔记12-KConfig 语法学习

KConfig 语法学习 RTT 官方教程 https://www.rt-thread.org/document/site/#/development-tools/build-config-system/Kconfig 我自己写的IIC配置 menuconfig BSP_USING_I2C # I2C 菜单bool "Enable I2C BUS" # 提示I2C 菜单default n # 默认不使能I2C 菜单…

2023.07.29 驱动开发DAY6

通过epoll实现一个并发服务器 服务器 #include <stdio.h> #include <string.h> #include <unistd.h> #include <sys/types.h> #include <sys/socket.h> #include <netinet/in.h> #include <arpa/inet.h> #include <sys/epoll.h…

G-channel 实现低光图像增强

G-channel 之前研究低光图像增强时&#xff0c;看到一篇博客&#xff0c;里面介绍了一种方法&#xff0c;没有说明出处&#xff0c;也没有说明方法的名字&#xff0c;这里暂时叫做 G-channel 算法。 博客地址&#xff1a;低照度图像增强&#xff08;附步骤及源码&#xff09;…

LBP特征笔记

LBP&#xff0c;局部二值模式&#xff08;Local Binary Pattern&#xff09;&#xff0c;是一种描述图像局部纹理特征的方式&#xff0c;具有旋转不变性和灰度不变性。首先由T. Ojala, M.Pietikinen, 和 D. Harwood 在1994年提出。 LBP特征描述 基础LBP算子 基础的LBP算子定义…

# 关于Linux下的parted分区工具显示起始点为1049kB的问题解释

关于Linux下的parted分区工具显示起始点为1049kB的问题解释 文章目录 关于Linux下的parted分区工具显示起始点为1049kB的问题解释1 问题展示&#xff1a;2 原因3 修改为KiB方式显示4 最后 1 问题展示&#xff1a; kevinTM1701-b38cbc23:~$ sudo parted /dev/nvme1n1 GNU Part…

记一次使用gophish开展的钓鱼演练

这周接到客户要求&#xff0c;组织一次钓鱼演练&#xff0c;要求是发送钓鱼邮件钓取用户账号及个人信息。用户提交后&#xff0c;跳转至警告界面&#xff0c;以此来提高客户单位针对钓鱼邮件的防范意识。 与客户沟通后得知他们企业内部是由邮箱网关的&#xff0c;那么就意味着…

ARM微架构

一、流水线 二、指令流水线 指令流水线 指令流水线 指令流水线 ARM指令流水线 ARM7采用3级流水线 ARM9采用5级流水线 Cortex-A9采用8级流水线 注1&#xff1a;虽然流水线级数越来越多&#xff0c;但都是在三级流水线的基础上进行了细分 PC的作用&#xff08;取指&#xff09; …

搭建Django+pyhon+vue自动化测试平台

Django安装 使用管理员身份运行pycharm使用local 1 pip install django -i https://pypi.tuna.tsinghua.edu.cn/simple 检查django是否安装成功 1 python -m django --version 创建项目 1 1 django-admin startproject test cd 切换至创建的项目中启动django项目…

python 连接oracle pandas以简化excel的编写和数据操作

python代码 Author: liukai 2810248865qq.com Date: 2022-08-18 04:28:52 LastEditors: liukai 2810248865qq.com LastEditTime: 2023-07-06 22:12:56 FilePath: \PythonProject02\pandas以简化excel的编写和数据操作.py Description: 这是默认设置,请设置customMade, 打开koro…

SpringBoot+AOP+Redission实战分布式锁

文章目录 前言一、Redission是什么&#xff1f;二、使用场景三、代码实战1.项目结构2.类图3.maven依赖4.yml5.config6.annotation7.aop8.model9.service 四、单元测试总结 前言 在集群环境下非单体应用存在的问题&#xff1a;JVM锁只能控制本地资源的访问&#xff0c;无法控制…

docker容器的基本操作

一、查看Docker的版本信息 [roothuyang1 ~]# docker version 二、查看docker的详细信息 [roothuyang1 ~]# docker info 三、Docker镜像操作 Docker创建容器前需要本地存在对应的镜像&#xff0c;如果本地加载不到相关镜像&#xff0c;Docker默认就会尝试从镜像仓库https://hu…

算法竞赛入门【码蹄集新手村600题】(MT1100-1120)C语言

算法竞赛入门【码蹄集新手村600题】(MT1100-1120&#xff09;C语言 目录MT1101 带参数的宏IIMT1102 长方体MT1103 球体积MT1104 三角形MT1105 英寸英尺英里MT1106 盎司磅MT1107 加仑/升MT1108 保留小数MT1109 和10相比MT1110 最小值MT1111 最大值MT1112 中庸之道MT1113 三人同行…