一、ELK -Filebeat
Elasticsearch 数据的存储和检索
常用端口:
9100:elasticsearch-head提供web访问
9200:elasticsearch与其他程序连接或发送消息
9300:elasticsearch集群状态
Logstash 有三个组件构成input,fileter,output
常用端口:5044
Kibana 数据的可视化
常用端口:5601
Filebeat 采集日志
Filebeat 是 ELK 组件的新成员, 也是 Beat 成员之一。基于 Go 语言开发,无任何依赖,并且比 Logstash 更加轻量, 不会带来过高的资源占用, 非常适合安装在生产机器上。轻量意味着简单,Filebeat 并没有集成和 Logstash 一样的正则处理功能, 而是将收集的日志原样输出。
以下是 Filebeat 的工作流程: 当开启 Filebeat 程序的时候,它会启动一个或多个检测进程(prospectors) 找到指定的日志目录或文件。对于探测器找出的每一个日志文件,Filebeat 启动读取进程(harvester)。每读取一个日志文件的新内容,便发送这些新的日志数据到处理程序(spooler) 。最后,Filebeat 会发送数据到指定的地点 (比如 logstash、elasticserach)。
正是以上原因,目前, Filebeat 已经完全替代了 Logstash 成为新一代的日志采集器。同时,鉴于它的轻量、安全等特点,越来越多人开始使用它。
Docker 日志管理缺陷
ELK 架构适合于日志规模比较庞大的情况。但由于 Logstash 日志解析节点和Elasticsearch 的负荷比较重,可将其配置为集群模式,以分担负荷。引入消息队列, 均衡了网络传输, 从而降低了网络闭塞, 尤其是丢失数据的可能性, 但依然存在 Logstash 占用系统资源过多的问题。
二、实验部署
实验的基本环境部署
镜像+软件包
[root@localhost ~]# vim /etc/sysctl.conf
vm.max_map_count=655360
备注:
max_map_count文件包含限制一个进程可以拥有的VMA(虚拟内存区域)的数量(字节)
Vm 虚拟
Map映射
Count数量
[root@localhost ~]# sysctl -p (立刻执行+检查语法)
[root@localhost ~]# vim /etc/security/limits.conf
* soft nofile 65535 no :number数量
* hard nofile 65535 硬链接 文件数量限制
* soft nproc 65535 进程数量
* hard nproc 65535
* soft memlock unlimited 是否锁定内存
* hard memlock unlimited 硬限制
[root@localhost ~]# docker network create ELK-kgc (创建ELK-kgc,所有网络加入,利用容器名称进行访问)
[root@localhost ~]# docker network ls (查看网络类型)
1.构建Elasticsearch
(1)创建 Elasticsearch 工作目录
[root@localhost ~]# mkdir elk
[root@localhost ~]# mkdir -p elk/elasticsearch
[root@localhost ~]# cd elk/elasticsearch
[root@localhost ]# cp elasticsearch-7.10.0-linux-x86_64.tar.gz elk/elasticsearch/ (上传 elasticsearch 的源码包到 elk/elasticsearch 目录下)
(2)修改elasticsearch.yml配置文件
[root@localhost elasticsearch]# cd elasticsearch-7.10.0
[root@localhost elasticsearch-7.10.0]# ls
bin config jdk lib LICENSE.txt logs modules NOTICE.txt plugins README.asciidoc
[root@localhost elasticsearch-7.10.0]# cd config/
[root@localhost config]# ls
elasticsearch.yml jvm.options.d role_mapping.yml users
jvm.options log4j2.properties roles.yml users_roles
[root@localhost config]# vim elasticsearch.yml
cluster.name: my-application ##17行,群集名称
node.name: elasticsearch ##23行,本节点主机名:容器名称
path.data: /path/to/data ##33行,数据文件路径
path.logs: /path/to/logs ##37行,日志文件路径
network.host: 0.0.0.0 ##55行,监听地址(容器地址)
http.port: 9200 ##59行,监听端口
cluster.initial_master_nodes: ["elasticsearch"] ##72,master主机名称,群集的初始化会将此节点选举为master 。 ["elasticsearch"] 是容器名称
[root@localhost config]# cp elasticsearch.yml /root/elk/elasticsearch/
(3)Dockerfile文件
FROM centos:7
RUN rm -rf /etc/yum.repos.d/*
RUN curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
RUN curl -o /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo
RUN yum clean all
RUN yum -y install java-11 vim net-rools
ADD elasticsearch-7.10.0-linux-x86_64.tar.gz /usr/local/
RUN mkdir -p /path/to/logs
RUN mkdir -p /path/to/data
COPY elasticsearch.yml /usr/local/elasticsearch-7.10.0/config
RUN sed -i 's/-Xms1g/-Xms4g/g' /usr/local/elasticsearch-7.10.0/config/jvm.options
RUN sed -i 's/-Xmx1g/-Xmx4g/g' /usr/local/elasticsearch-7.10.0/config/jvm.options
RUN useradd es
RUN chown -R es:es /path/to/logs
RUN chown -R es:es /path/to/data
RUN chown -R es:es /usr/local/elasticsearch-7.10.0/
EXPOSE 9200
EXPOSE 9300
CMD su es /usr/local/elasticsearch-7.10.0/bin/elasticsearch
[root@localhost elasticsearch]# docker build -t elasticsearch . (构建 Elasticsearch 镜像 )
2.构建kibana镜像
(1)创建目录
[root@localhost elk]# mkdir kibana
[root@localhost ~]# cp kibana-7.10.0-linux-x86_64.tar.gz elk/kibana/
[root@localhost ~]# cd elk/kibana/
[root@localhost kibana]# ls
kibana-7.10.0-linux-x86_64.tar.gz
[root@localhost kibana]# tar zxvf kibana-7.10.0-linux-x86_64.tar.gz
(2)kibana.yml文件
[root@localhost kibana]# ls
kibana-7.10.0-linux-x86_64 kibana-7.10.0-linux-x86_64.tar.gz
[root@localhost kibana]# cd kibana-7.10.0-linux-x86_64
[root@localhost kibana-7.10.0-linux-x86_64]# ls
bin data node NOTICE.txt plugins src
config LICENSE.txt node_modules package.json README.txt x-pack
[root@localhost kibana-7.10.0-linux-x86_64]# vim config/kibana.yml
[root@localhost kibana-7.10.0-linux-x86_64]# cp config/kibana.yml /root/elk/kibana/
(3)Dockerfile
FROM centos:7
RUN rm -rf /etc/yum.repos.d/*
RUN curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
RUN curl -o /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo
RUN yum clean all
RUN yum -y install java-11 vim net-tools
ADD kibana-7.10.0-linux-x86_64.tar.gz /usr/local/
COPY kibana.yml /usr/local/kibana-7.10.0-linux-x86_64/config
EXPOSE 5601
RUN useradd es
RUN chown -R es:es /usr/local/kibana-7.10.0-linux-x86_64/
CMD su es /usr/local/kibana-7.10.0-linux-x86_64/bin/kibana
[root@localhost kibana]# docker build -t kibana .
3. 创建logstash镜像
(1)创建目录
[root@localhost elk]# mkdir logstash
[root@localhost ~]# cp logstash-7.10.0-linux-x86_64.tar.gz elk/logstash/
[root@localhost ~]# cd elk/logstash/
[root@localhost logstash]# ls
logstash-7.10.0-linux-x86_64.tar.gz
(2)创建dockerfile文件
[root@localhost logstash]# vim dockerfile
FROM centos:7
RUN rm -rf /etc/yum.repos.d/*
RUN curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
RUN curl -o /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo
RUN yum clean all
RUN yum -y install vim java-11 net-tools
ADD logstash-7.10.0-linux-x86_64.tar.gz /usr/local/
ADD nginx-log.conf /opt/logstash/conf/nginx-log.conf
EXPOSE 5044
COPY run.sh /run.sh
RUN chmod +x /run.sh
CMD ["/run.sh"]
(3)创建 CMD 运行的脚本文件
#!/bin/bash
/usr/local/logstash-7.10.0/bin/logstash -f /opt/logstash/conf/nginx-log.conf
(4)编写配置文件
[root@localhost logstash]# vim nginx-log.conf
input { (输入)
beats { (日志来源是filebeat)
port => "5044" (该端口用来连接filebeat)
codec => "json" (编码格式)
}
}
output{
elasticsearch { (日志转发对象)
hosts => ["elasticsearch:9200"] (容器名称:端口)
manage_template => false (是否启用模板:否)
index => "www-bdqn-cn-pro-access-%{+YYYY.MM.dd}" (索引名称)
}
}
[root@localhost logstash]# mkdir -p /opt/logstash/conf
[root@localhost conf]# cp /root/elk/logstash/nginx-log.conf /opt/logstash/con
[root@localhost logstash]# docker build -t logstash . (构建logstash镜像)
4.构建filebeat镜像
(1)创建目录
[root@localhost elk]# mkdir filebeat
[root@localhost ~]# cp filebeat-7.10.0-linux-x86_64.tar.gz elk/filebeat/
(2)编辑filebeat.yml文件
[root@localhost filebeat]# vim filebeat.yml
filebeat.inputs:
- type: log
paths:
- /var/log/nginx/access.log
tags: ["www-kgc-access"]
output.logstash:
hosts: ["logstash:5044"]
(3)编辑dockerfile
[root@localhost filebeat]# vim dockerfile
FROM centos:7
RUN rm -rf /etc/yum.repos.d/*
RUN curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
RUN curl -o /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo
RUN yum clean all
RUN yum -y install java-11 net-tools vim
ADD filebeat-7.10.0-linux-x86_64.tar.gz /usr/local/
COPY filebeat.yml /usr/local/filebeat-7.10.0-linux-x86_64/
ADD run.sh /run.sh
RUN chmod 755 /*.sh
CMD ["/run.sh"]
(4)创建CMD运行脚本
[root@localhost Filebeat]# vim run.sh
#!/bin/bash
/usr/local/filebeat-7.10.0-linux-x86_64/filebeat -e -c /usr/local/filebeat-7.10.0-linux-x86_64/filebeat.yml
备注:
-c:配置文件位置
-path.logs:日志位置
-path.data:数据位置
-path.home:家位置
-e:关闭日志输出
-d 选择器:启用对指定选择器的调试。 对于选择器,可以指定逗号分隔的组件列表,也可以使用-d“*”为所有组件启用调试.例如,-d“publish”显示所有“publish”相关的消息。
启动nginx进行日志输出
[root@localhost ~]# docker run -dit -p 80:80 --network ELK-kgc -v /var/log/nginx:/var/log/nginx --name nginx-ELK nginx:latest
nginx-ELK 日志名称
nginx:latest 镜像和标签
[root@localhost ~]# curl 192.168.10.101 (访问日志)
[root@localhost ~]# cat /var/log/nginx/access.log (查看日志)
5.启动镜像
(1)启动 Elasticsearch
[root@localhost ~]# docker run -itd -p 9200:9200 -p 9300:9300 --network ELK-kgc -v /path/to/logs:/path/to/logs --name elasticsearch elasticsearch
elasticsearch elasticsearch (前一个elasticsearch容器名称,后者是镜像名称)
(2)启动 kibana
[root@localhost ~]# docker run -itd -p 5601:5601 --network ELK-kgc --name kibana kibana
(3)启动 logstash
[root@localhost ~]# docker run -itd -p 5044:5044 --network ELK-kgc -v /opt/logstash/conf:/opt/logstash/conf --name logstash logstash
(4)启动 Filebeat
[root@localhost ~]# docker run -itd --network ELK-kgc -v /var/log/nginx:/var/log/nginx --name filebeat filebeat
6.Kibana web访问即可
192.168.10.101:5601