【Kubernetes】日志平台EFK+Logstash+Kafka【实战】

一，环境准备

（1）下载镜像包（共3个）：

elasticsearch-7-12-1.tar.gz
fluentd-containerd.tar.gz
kibana-7-12-1.tar.gz

（2）在node节点导入镜像：

ctr -n=k8s.io images import elasticsearch-7-12-1.tar.gz 
ctr -n=k8s.io images import kibana-7-12-1.tar.gz 
ctr -n=k8s.io images import fluentd-containerd.tar.gz

（3）在master节点导入镜像：

ctr -n=k8s.io images import fluentd-containerd.tar.gz

二，实战操作详细步骤

1，创建命名空间

kubectl create ns kube-logging

2，创建elasticsearch的 service

# vim elasticsearch_svc.yaml kind: Service                  # service服务
apiVersion: v1
metadata:name: elasticsearchnamespace: kube-logging      # 指定命名空间labels:app: elasticsearch
spec:selector:app: elasticsearchclusterIP: None              # lesshead类型ports:- port: 9200               # 指定端口9200name: rest- port: 9300                # 指定端口9300name: inter-node

3，安装elasticsearch：类型Statefulset

（1）创建NFS

在所有节点执行如下命令，通过NFS 再创建存储类，实现存储类动态供给

1-1 安装NFS
#yum安装nfs
yum install nfs-utils -y#启动nfs服务
systemctl start nfs#设置nfs开机自启动
systemctl enable nfs.service
1-2 配置NSF

仅在master节点配置nfs文件，将master作为服务端。

# master上创建一个nfs共享目录
mkdir /data/v1 -p#编辑/etc/exports文件
vim /etc/exports
/data/v1 *(rw,no_root_squash)#加载配置，使配置生效
exportfs -arv# 重新启动nfs
systemctl restart nfs
（2）创建存储供应商（基于NFS）
2-1 创建sa账号
# vim serviceaccount.yaml apiVersion: v1
kind: ServiceAccount
metadata:name: nfs-provisioner

说明：为了使Pod里面的进程调用Kubernetes API或其他外部服务。从而指定serviceaccount之后，把pod创建出来，使用这个pod时，就有了我们指定的账户的权限。

2-2 对sa账号授权
kubectl create clusterrolebinding nfs-provisioner-clusterrolebinding --clusterrole=cluster-admin --serviceaccount=default:nfs-provisioner
2-3 创建nfs-provisioner供应商：类型Deployment

在node节点上，导入镜像：nfs-subdir-external-provisioner.tar.gz
创建供应商：

ctr -n=k8s.io images import nfs-client-provisioner.tar.gz

# vim deployment.yamlkind: Deployment
apiVersion: apps/v1
metadata:name: nfs-provisioner
spec:selector:matchLabels:app: nfs-provisionerreplicas: 1strategy:type: Recreatetemplate:metadata:labels:app: nfs-provisionerspec:serviceAccount: nfs-provisionercontainers:- name: nfs-provisionerimage: registry.cn-beijing.aliyuncs.com/mydlq/nfs-subdir-external-provisioner:v4.0.0imagePullPolicy: IfNotPresentvolumeMounts:- name: nfs-client-rootmountPath: /persistentvolumesenv:- name: PROVISIONER_NAMEvalue: example.com/nfs- name: NFS_SERVERvalue: 192.168.40.180 #这个需要写nfs服务端所在的ip地址，大家需要写自己安装了nfs服务的机器ip- name: NFS_PATHvalue: /data/v1  #这个是nfs服务端共享的目录volumes:- name: nfs-client-rootnfs:server: 192.168.40.180   # 和上面保持一直path: /data/v1           # 和上面保持一直

#验证nfs是否创建成功
kubectl get pods | grep nfs
（3）创建Storageclass
# vim class.yamlapiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:name: do-block-storage
provisioner: example.com/nfs

注意：
provisioner: example.com/nfs
该值需要和 nfs-provisioner 配置的 PROVISIONER_NAME 处的value值保持一致。

（4）安装elasticsearch

在node节点，导入镜像：elasticsearch-7-12-1.tar.gz

ctr -n=k8s.io images import elasticsearch-7-12-1.tar.gz

# vim elasticsearch-statefulset.yamlapiVersion: apps/v1
kind: StatefulSet
metadata:name: es-clusternamespace: kube-logging
spec:serviceName: elasticsearchreplicas: 3selector:matchLabels:app: elasticsearchtemplate:metadata:labels:app: elasticsearchspec:containers:- name: elasticsearchimage: elasticsearch:7.12.1imagePullPolicy: IfNotPresentresources:limits:cpu: 1000mrequests:cpu: 100mports:- containerPort: 9200name: restprotocol: TCP- containerPort: 9300name: inter-nodeprotocol: TCPvolumeMounts:- name: datamountPath: /usr/share/elasticsearch/dataenv:- name: cluster.namevalue: k8s-logs- name: node.namevalueFrom:fieldRef:fieldPath: metadata.name- name: discovery.seed_hostsvalue: "es-cluster-0.elasticsearch.kube-logging.svc.cluster.local,es-cluster-1.elasticsearch.kube-logging.svc.cluster.local,es-cluster-2.elasticsearch.kube-logging.svc.cluster.local"   # 创建3个pod的完整域名，可简写- name: cluster.initial_master_nodesvalue: "es-cluster-0,es-cluster-1,es-cluster-2"- name: ES_JAVA_OPTSvalue: "-Xms512m -Xmx512m"initContainers:- name: fix-permissionsimage: busyboximagePullPolicy: IfNotPresentcommand: ["sh", "-c", "chown -R 1000:1000 /usr/share/elasticsearch/data"]securityContext:privileged: truevolumeMounts:- name: datamountPath: /usr/share/elasticsearch/data- name: increase-vm-max-mapimage: busyboximagePullPolicy: IfNotPresentcommand: ["sysctl", "-w", "vm.max_map_count=262144"]securityContext:privileged: true- name: increase-fd-ulimitimage: busyboximagePullPolicy: IfNotPresentcommand: ["sh", "-c", "ulimit -n 65536"]securityContext:privileged: truevolumeClaimTemplates:- metadata:name: datalabels:app: elasticsearchspec:accessModes: [ "ReadWriteOnce" ]storageClassName: do-block-storageresources:requests:storage: 10Gi

注意：chmod -R 1000:1000 /usr/：中，这是用户ID（UID）和组ID（GID）的组合，分别用冒号分隔。
在大多数Linux发行版中，UID和GID为1000通常分配给第一个非root用户（即，安装系统后创建的第一个用户账户）。
这意味着该命令将文件或目录的所有者和组更改为UID和GID都为1000的用户和组。

在这里插入图片描述

4，安装kibana

创建前端service，及代理的后端pod1个

# vim kibana.yamlapiVersion: v1
kind: Service
metadata:name: kibananamespace: kube-logginglabels:app: kibana
spec:type: NodePortports:- port: 5601selector:app: kibana
---
apiVersion: apps/v1
kind: Deployment
metadata:name: kibananamespace: kube-logginglabels:app: kibana
spec:replicas: 1selector:matchLabels:app: kibanatemplate:metadata:labels:app: kibanaspec:containers:- name: kibanaimage:  kibana:7.12.1imagePullPolicy: IfNotPresentresources:limits:cpu: 1000mrequests:cpu: 100menv:- name: ELASTICSEARCH_URLvalue: http://elasticsearch:9200ports:- containerPort: 5601

kubectl get pods -n kube-loggingkubectl get svc -n kube-logging

在这里插入图片描述
浏览器访问地址：
http://<任意节点ip>：<前端service映射端口(32059)> :

在这里插入图片描述

5，安装fluentd：类型Daemonset

daemonset控制器可以保证集群中的每个节点都可以运行同样fluentd的pod副本。
从而，可以收集k8s集群中每个节点的日志，将应用应用程序容器的输入输出日志，重定向到node节点里的json文件中即可。

Fluentd不但可以把容器日志转换成指定的格式发送到elasticsearch集群中，还可以采集kubelet、kube-proxy、docker的日志。

创建fluentd服务的sa账号，并分配角色授权：

# vim fluentd.yaml apiVersion: v1
kind: ServiceAccount
metadata:name: fluentdnamespace: kube-logginglabels:app: fluentd
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:name: fluentdlabels:app: fluentd
rules:
- apiGroups:- ""resources:- pods- namespacesverbs:- get- list- watch
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:name: fluentd
roleRef:kind: ClusterRolename: fluentdapiGroup: rbac.authorization.k8s.io
subjects:
- kind: ServiceAccountname: fluentdnamespace: kube-logging
---
apiVersion: apps/v1
kind: DaemonSet
metadata:name: fluentdnamespace: kube-logginglabels:app: fluentd
spec:selector:matchLabels:app: fluentdtemplate:metadata:labels:app: fluentdspec:serviceAccount: fluentdserviceAccountName: fluentdtolerations:- key: node-role.kubernetes.io/control-planeeffect: NoSchedulecontainers:- name: fluentdimage: docker.io/fluent/fluentd-kubernetes-daemonset:v1.16-debian-elasticsearch7-1imagePullPolicy: IfNotPresentenv:- name:  FLUENT_ELASTICSEARCH_HOSTvalue: "elasticsearch.kube-logging.svc.cluster.local"- name:  FLUENT_ELASTICSEARCH_PORTvalue: "9200"- name: FLUENT_ELASTICSEARCH_SCHEMEvalue: "http"- name: FLUENTD_SYSTEMD_CONFvalue: disable            - name: FLUENT_CONTAINER_TAIL_PARSER_TYPEvalue: "cri"- name: FLUENT_CONTAINER_TAIL_PARSER_TIME_FORMATvalue: "%Y-%m-%dT%H:%M:%S.%L%z"            resources:limits:memory: 512Mirequests:cpu: 100mmemory: 200MivolumeMounts:- name: varlogmountPath: /var/log- name: containersmountPath: /var/log/containersreadOnly: trueterminationGracePeriodSeconds: 30volumes:- name: varloghostPath:path: /var/log- name: containershostPath:path: /var/log/containers

【注意】日志格式化。容器运行时为containerd时，才加入。为docker时，不用加。
- name: FLUENT_CONTAINER_TAIL_PARSER_TYPE
value: “cri”
- name: FLUENT_CONTAINER_TAIL_PARSER_TIME_FORMAT
value: “%Y-%m-%dT%H:%M:%S.%L%z”

在这里插入图片描述

6，配置连接

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

https://www.elastic.co/guide/en/kibana/7.12/kuery-query.html
在这里插入图片描述
https://www.elastic.co/guide/en/kibana/7.12/kuery-query.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/432784.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

webpack使用

webpack使用

一、简介 概述 本次使用webpack4进行构建打包 二、webpack 安装webpack、webpack-cli npm install webpack4.2.0 webpack-cli4.2.0 -D 三、loader 加载器概述 raw-loader&#xff1a;加载文件原始内容&#xff08;utf-8&#xff09; file-loader&#xff1a;把文件输出…
阅读更多...
CentOS 7 中安装 docker 环境

CentOS 7 中安装 docker 环境

作者&#xff1a;程序那点事儿 日期&#xff1a;2023/02/15 02:31 官网地址 官网文档 docker三种网络模式 Docker CE 支持 64 位版本 CentOS 7&#xff0c;并且要求内核版本不低于 3.10&#xff0c; CentOS 7 满足最低内核的要求。 Docker 分为 CE 和 EE 两大版本。CE 即社区…
阅读更多...
蓝桥杯1.小蓝的漆房

蓝桥杯1.小蓝的漆房

样例输入 2 5 2 1 1 2 2 1 6 2 1 2 2 3 3 3样例输出 1 2 import math import os import sys tint(input())#执行的次数 for j in range(t):n,kmap(int,input().split())#n为房间数 k为一次能涂的个数alist(map(int,input().split()))#以列表的形式存放房间的颜色maxvaluemath…
阅读更多...
81、Python之鸭子类型：从魔法函数看对象的字符串呈现

81、Python之鸭子类型：从魔法函数看对象的字符串呈现

引言 前面已经介绍了鸭子类型的概念&#xff0c;以及Python中支撑鸭子类型理念的“魔法函数”的体系。Python中的魔法函数分为几大类&#xff0c;本文我们首先从最简单的自定义类型的字符串呈现来切入&#xff0c;逐步理解并掌握Python中的魔法函数的完整架构。 本文的主要内…
阅读更多...
玩转指针(3)

玩转指针(3)

一、字符指针变量 字符指针变量&#xff08;如char* p&#xff09;的两种赋值方式 ①将字符类型地址赋值给字符指针变量 int main() {char a w;char* p &a;*p m;return 0; }②将常量字符串赋值给字符指针变量 常量字符串的介绍&#xff1a;用" "引起来的就…
阅读更多...
以Flask为基础的虾皮Shopee“曲线滑块验证码”识别系统部署

以Flask为基础的虾皮Shopee“曲线滑块验证码”识别系统部署

以Flask为基础的虾皮Shopee“曲线滑块验证码”识别系统部署 一、验证码类型二、简介三、Flask应用 一、验证码类型 验证码类型&#xff1a;此类验证码存在两个难点&#xff0c;一是有右侧有两个凹槽&#xff0c;二是滑块的运动轨迹不是直线的&#xff0c;而是沿着曲线走的&…
阅读更多...
STM32通过HAL库编码方式，在烧写一次程序后，单片机在仿真器上识别不到

STM32通过HAL库编码方式，在烧写一次程序后，单片机在仿真器上识别不到

在将项目从裸机移植到rtt过程中&#xff0c;总体调试跑不通ADC&#xff0c;进行了单独调试&#xff0c;新程序烧写进单片机后&#xff0c;仿真器再也识别不到单片机。一遍遍检查后发现HAL库没有配置完全。 SYS需要设置成 Serial Wire&#xff0c;忘记设置就成了No Debug,写这么…
阅读更多...
基于nodejs+vue的水产品销售管理系统

基于nodejs+vue的水产品销售管理系统

作者&#xff1a;计算机学姐 开发技术&#xff1a;SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等&#xff0c;“文末源码”。 专栏推荐&#xff1a;前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码 精品专栏&#xff1a;Java精选实战项目…
阅读更多...
如何在 macOS（MacBook Pro、Air 和 iMac）上恢复未保存的 Word 文档

如何在 macOS（MacBook Pro、Air 和 iMac）上恢复未保存的 Word 文档

Microsoft Word 在许多用户中很受欢迎&#xff0c;并且有多种用途。无论是为学校写论文、在办公室写报告还是其他许多事情。但是不保存文档并丢失数据可能是您可能面临的最可怕的噩梦。但是&#xff0c;也有几种方法可以在 macOS 上恢复未保存的 Word 文档。 用户在 Windows P…
阅读更多...
wpf中如何访问控件和生成使用事件？

wpf中如何访问控件和生成使用事件？

实际上对于初次使用wpf的同学来说&#xff0c;尤其是有winform编程经验的童鞋来说&#xff0c;最需要解决的就是快速掌握访问控件的方法以及生成和使用事件。这样才能让页面具有最起码的交互性。下面我们来分别讲述。 文章原出处&#xff1a;https://blog.csdn.net/haigear/ar…
阅读更多...
网络原理（4）——网络层（IP）、数据链路层

网络原理（4）——网络层（IP）、数据链路层

1. IP 协议 基本概念&#xff1a; 主机&#xff1a;配有 IP 地址&#xff0c;但是不进行路由控制的设备 路由器&#xff1a;即配有 IP 地址&#xff0c;又能进行路由控制 节点&#xff1a;主机和路由器的统称 IP 协议报头格式 1) 4 位版本&#xff1a;实际上只有两个取值&…
阅读更多...
C语言题目之单身狗2

C语言题目之单身狗2

文章目录 一、题目二、思路三、代码实现 提示&#xff1a;以下是本篇文章正文内容&#xff0c;下面案例可供参考 一、题目 二、思路 第一步 在c语言题目之打印单身狗我们已经讲解了在一组数据中出现一个单身狗的情况&#xff0c;而本道题是出现两个单身狗的情况。根据一个数…
阅读更多...
9.C++程序中的选择语句

9.C++程序中的选择语句

选择语句一共分为两种&#xff1a;条件语句和开关语句 其中条件语句叫if语句&#xff0c;常见的形式为&#xff1a;if ... else ... ; 再复杂一些为if... else if ... else ... ; 开关语句又叫switch语句&#xff0c;类型于开关的使用形式常见的有 switch (var) case : ... b…
阅读更多...
tauri中加载本地文件图片或者下载网络文件图片后存储到本地，然后通过前端页面展示

tauri中加载本地文件图片或者下载网络文件图片后存储到本地，然后通过前端页面展示

有一个需求是需要将本地上传的文件或者网络下载的文件存储到本地&#xff0c;并展示在前端页面上的。其实如果只是加载本地文件&#xff0c;然后展示还是挺简单的&#xff0c;可以看我的文章&#xff1a;tauri程序加载本地图片或者文件在前端页面展示-CSDN博客 要想实现上述需…
阅读更多...
JS 历史简介

JS 历史简介

目录 1. JS 历史简介 2. JS 技术特征 1. JS 历史简介 举例&#xff1a;在提交用户的注册信息的时候&#xff0c;为避免注册出现错误后重新填写信息&#xff0c;可以在写完一栏信息后进行校验&#xff0c;并提示是否出现错误&#xff0c;这样会大大提高用户提交的成功率&…
阅读更多...
gradle镜像配置

gradle镜像配置

当我们在Android Studio中新建项目或者打开已有项目时&#xff0c;会下载gradle文件&#xff0c;当使用官方的下载源时很慢&#xff0c;经常会下载失败&#xff0c;国内我们可以使用腾讯或者阿里的镜像&#xff0c;一般下载速度很快。 一、gradle下载地址 官网地址&#xff1…
阅读更多...
C语言指针系列2——加深理解

C语言指针系列2——加深理解

大家&#xff0c;今天讲的知识点是一块儿一块儿的&#xff0c;所以大家要好好学习喔~ 话不多说&#xff0c;开始正题 关键字&#xff1a;const &#xff08;三种用法&#xff09; 1. int* const p; 2. int const* p; 3. const int* const p; 首先我们要了解一下const&#xff…
阅读更多...
【计算机组成原理】实验一：运算器输入锁存器数据写实验

【计算机组成原理】实验一：运算器输入锁存器数据写实验

目录 实验要求 实验目的 主要集成电路芯片及其逻辑功能 实验原理 实验内容及步骤 实验内容 思考题 实验要求 利用CP226实验箱上的K16&#xff5e;K23二进制拨动开关作为DBUS数据输入端&#xff0c;其它开关作为控制信号的输入端&#xff0c;将通过K16&#xff5e;K23设定…
阅读更多...
【学习笔记】SSL/TLS证书安全机制之证书透明

【学习笔记】SSL/TLS证书安全机制之证书透明

1、概念 CT - Certificate Transparency&#xff0c;证书透明 2、Trying to Solve 如果意外的 CA 为我们的域名颁发证书&#xff0c;我们是不可见&#xff0c;这就是证书透明&#xff08;CT&#xff09;要解决的问题 3、How CT Works 任何CA机构颁发的所有证书的公共登记处&…
阅读更多...
西门子1200PLC模拟量指令读出来的值好像不太对劲的样子

西门子1200PLC模拟量指令读出来的值好像不太对劲的样子

问题&#xff1a;模拟量指令读出来的值好像不太对劲的样子 各位高手看看&#xff0c;是不是哪里错了&#xff0c;传感器4-20ma的规格&#xff0c;我取值0-27648&#xff0c;我要换算成N,后面范围是0-200&#xff0c;但是值为什么都是小数点啊&#xff0c;而且和实际的压力怎么看…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023