【微服务部署】06-日志集成

文章目录

    • 1. EFK日志三件套集成
      • 1.1 核心组件
      • 1.2 部署
    • 2. Exceptionless日志系统
      • 2.1 Exceptionless核心特性
      • 2.2 Exceptionless部署文件
      • 2.3 K8s中使用Exceptionless

1. EFK日志三件套集成

1.1 核心组件

  • Elasticsearch（存储）
  • Fluentd（收集器）
  • Kibana（数据看板）

在这里插入图片描述

每个Kubernetes节点上可以运行一个Fluentd实例，这个实例会去收集所有Pod打印出来的日志流。Fluentd可以做到无侵入的收集日志；
多个Kubernetes节点组成了Kubernetes集群，每个Fluentd收集到的日志都推送到Elasticsearch中。Elasticsearch可以单独部署，也可以部署在Kuberbetes集群中；
Kibana负责管理Elasticsearch，并作为数据看板

1.2 部署

需要部署Elasticsearch、Fluentd、Kibana

Elasticsearch

apiVersion: apps/v1beta1
kind: Deployment
metadata:name: elasticsearchnamespace: defaultlabels:tag: elasticsearch
spec:replicas: 1template:metadata:labels:app: elasticsearchspec:containers:- name: elasticsearchimage: "elasticsearch:7.5.2"imagePullPolicy: IfNotPresentenv:- name: discovery.typevalue: "single-node"volumeMounts:- mountPath: "/usr/share/elasticsearch/data"name: elasticsearch-storageports:- containerPort: 9200- containerPort: 9300resources:limits:cpu: 1000mmemory: 2048Mirequests:cpu: 100mmemory: 512MiterminationGracePeriodSeconds: 10volumes:- name: elasticsearch-storagehostPath:path: "/d/k8s/volumes/elasticsearch/data"type: DirectoryOrCreaterestartPolicy: Always--- apiVersion: v1
kind: Service
metadata:name: elasticsearchnamespace: defaultlabels:tag: "elasticsearch"
spec:type: NodePortports:- nodePort: 30007port: 9200targetPort: 9200name: "9200"protocol: TCP- nodePort: 30008port: 9300targetPort: 9300name: "9300"protocol: TCPselector:app: elasticsearch

Fluentd

apiVersion: apps/v1beta1
kind: Deployment
metadata:name: fluentdnamespace: defaultlabels:tag: fluentd
spec:replicas: 1template:metadata:labels:app: fluentdspec:containers:- name: fluentdimage: "witskeeper/fluentd-es:68"imagePullPolicy: IfNotPresentenv:- name: discovery.typevalue: "single-node"volumeMounts:- mountPath: "/fluentd/etc/fluent.conf"name: fluentd-configsubPath: fluent.conf- mountPath: "/var/log"name: containers-logs- mountPath: "/var/lib/docker/containers"name: docker-logsports:- containerPort: 24224resources:limits:cpu: 1000mmemory: 2048Mirequests:cpu: 100mmemory: 512MiterminationGracePeriodSeconds: 10volumes:- name: fluentd-configconfigMap:name: fluentd-config- name: containers-logshostPath:path: "/var/log"type: DirectoryOrCreate- name: docker-logshostPath:path: /var/lib/docker/containersrestartPolicy: Always--- apiVersion: v1
kind: Service
metadata:name: fluentdnamespace: defaultlabels:tag: "fluentd"
spec:type: NodePortports:- nodePort: 30011port: 24224targetPort: 24224protocol: TCPselector:app: fluentd

Kibana

apiVersion: apps/v1beta1
kind: Deployment
metadata:name: kibananamespace: defaultlabels:tag: kibana
spec:replicas: 1template:metadata:labels:app: kibanaspec:containers:- name: kibanaimage: "kibana:6.8.6"imagePullPolicy: IfNotPresentenv:- name: discovery.typevalue: "single-node"- name: XPACK_MONITORING_ENABLEDvalue: "true"ports:- containerPort: 5601resources:limits:cpu: 1000mmemory: 2048Mirequests:cpu: 100mmemory: 512MiterminationGracePeriodSeconds: 10restartPolicy: Always--- apiVersion: v1
kind: Service
metadata:name: kibananamespace: defaultlabels:tag: "kibana"
spec:type: NodePortports:- nodePort: 30009port: 5601targetPort: 5601protocol: TCPselector:app: kibana

2. Exceptionless日志系统

2.1 Exceptionless核心特性

  • 友好的界面
  • 内置日志分类看板
  • 按团队和项目管理应用
  • 支持Web hook发送异常通知
  • 基于.Net Core开源

在这里插入图片描述

Exceptionless由UI、Job、Api三个镜像组成。背后依赖了Redis存储和文件存储；
文件存储是用来存储应用提交的日志文件，然后通过Job将这些文件推送到Elasticsearch中，用户可以通过UI和Api从dashboard上查询异常日志；
应用程序通过Api推送异常日志

2.2 Exceptionless部署文件

apiVersion: apps/v1beta1
kind: Deployment
metadata:name: exceptionless-apinamespace: defaultlabels:tag: exceptionless-api
spec:replicas: 1template:metadata:labels:app: exceptionless-apispec:containers:- name: exceptionless-apiimage: "exceptionless/api:6.0.0"imagePullPolicy: IfNotPresentenv:- name: EX_AppModevalue: "Production"- name: EX_BaseURLvalue: http://localhost:30013- name: EX_ConnectionStrings__Cachevalue: provider=redis- name: EX_ConnectionStrings__Elasticsearchvalue: server=http://elasticsearch:9200;enable-size-plugin=false#- name: EX_ConnectionStrings__Email#  value: smtps://user:password@smtp.host.com:587- name: EX_ConnectionStrings__MessageBusvalue: provider=redis- name: EX_ConnectionStrings__Queuevalue: provider=redis- name: EX_ConnectionStrings__Redisvalue: server=redis,abortConnect=false- name: EX_ConnectionStrings__Storagevalue: provider=folder;path=/app/storage- name: EX_RunJobsInProcessvalue: 'false'volumeMounts:- mountPath: "/app/storage"name: exceptionless-storageports:- containerPort: 80resources:limits:cpu: 1000mmemory: 2048Mirequests:cpu: 100mmemory: 128MiterminationGracePeriodSeconds: 10volumes:- name: exceptionless-storagehostPath:path: "/d/k8s/volumes/exceptionless" // 本地存储目录type: DirectoryOrCreaterestartPolicy: Always---apiVersion: v1
kind: Service
metadata:name: exceptionless-apinamespace: defaultlabels:tag: "exceptionless-api"
spec:type: NodePortports:- nodePort: 30012port: 80targetPort: 80protocol: TCPselector:app: exceptionless-api---apiVersion: apps/v1beta1
kind: Deployment
metadata:name: exceptionless-jobnamespace: defaultlabels:tag: exceptionless-job
spec:replicas: 1template:metadata:labels:app: exceptionless-jobspec:containers:- name: exceptionless-jobimage: "exceptionless/job:6.0.0"imagePullPolicy: IfNotPresentenv:- name: EX_AppModevalue: "Production"- name: EX_BaseURLvalue: http://localhost:30013- name: EX_ConnectionStrings__Cachevalue: provider=redis- name: EX_ConnectionStrings__Elasticsearchvalue: server=http://elasticsearch:9200;enable-size-plugin=false#- name: EX_ConnectionStrings__Email#  value: smtps://user:password@smtp.host.com:587- name: EX_ConnectionStrings__MessageBusvalue: provider=redis- name: EX_ConnectionStrings__Queuevalue: provider=redis- name: EX_ConnectionStrings__Redisvalue: server=redis,abortConnect=false- name: EX_ConnectionStrings__Storagevalue: provider=folder;path=/app/storage- name: EX_RunJobsInProcessvalue: 'false'volumeMounts:- mountPath: "/app/storage"name: exceptionless-job-storageports:- containerPort: 80resources:limits:cpu: 1000mmemory: 2048Mirequests:cpu: 100mmemory: 128MiterminationGracePeriodSeconds: 10volumes:- name: exceptionless-job-storagehostPath:path: "/d/k8s/volumes/exceptionless"type: DirectoryOrCreaterestartPolicy: Always---apiVersion: v1
kind: Service
metadata:name: exceptionless-jobnamespace: defaultlabels:tag: "exceptionless-job"
spec:type: NodePortports:- nodePort: 30014port: 80targetPort: 80protocol: TCP---
apiVersion: apps/v1beta1
kind: Deployment
metadata:name: exceptionless-uinamespace: defaultlabels:tag: exceptionless-ui
spec:replicas: 1template:metadata:labels:app: exceptionless-uispec:containers:- name: exceptionless-uiimage: "exceptionless/ui:2.8.1497"imagePullPolicy: IfNotPresentenv:- name: AppModevalue: "Production"- name: EX_ApiUrlvalue: http://localhost:30012ports:- containerPort: 80resources:limits:cpu: 1000mmemory: 2048Mirequests:cpu: 100mmemory: 128MiterminationGracePeriodSeconds: 10restartPolicy: Always---apiVersion: v1
kind: Service
metadata:name: exceptionless-uinamespace: defaultlabels:tag: "exceptionless-ui"
spec:type: NodePortports:- nodePort: 30013port: 80targetPort: 80protocol: TCPselector:app: exceptionless-ui

// Program
public static int Main(string[] args)
{Log.Logger = new LoggerConfiguration().ReadFrom.Configuration(Configuration).MinimumLevel.Debug().Enrich.FromLogContext().WriteTo.Console(new RenderedCompactJsonFormatter())//.WriteTo.Fluentd("localhost", 30011, tag: "geektime-ordering-api", restrictedToMinimumLevel: Serilog.Events.LogEventLevel.Debug).CreateLogger();// 将Configuration中的exceptionless读取出来,并绑定到它默认的配置上去Configuration.GetSection("exceptionless").Bind(Exceptionless.ExceptionlessClient.Default.Configuration);try{Log.Information("Starting web host");CreateHostBuilder(args).Build().Run();return 0;}catch (Exception ex){Log.Fatal(ex, "Host terminated unexpectedly");return 1;}finally{Log.CloseAndFlush();}
}// 配置文件
"exceptionless": {"ApiKey": "PSaokqmXC8T4xgWal9I0atA8TlYG7Ytz65JvxAL3","ServerUrl": "http://localhost:30012"},// startup
public void Configure(IApplicationBuilder app, IWebHostEnvironment env)
{app.UseExceptionless();// 放在所有中间件最前面.为了能捕获到所有异常
}

2.3 K8s中使用Exceptionless

配置文件

 "exceptionless": {"ApiKey": "PSaokqmXC8T4xgWal9I0atA8TlYG7Ytz65JvxAL3" // 需要是当前项目的秘钥},

因为serverUrl地址是共享的，地址被配置在env.txt中

要将配置引用进来,需要在deployment.yaml中注册serverUrl为环境变量

通过EFK收集应用的全量日志,Exceptionless收集异常日志

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/112736.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

jmeter+nmon+crontab简单的执行接口定时压测

jmeter+nmon+crontab简单的执行接口定时压测

一、概述 临时接到任务要对系统的接口进行压测，上面的要求就是：压测，并发2000 在不熟悉系统的情况下，按目前的需求，需要做的步骤： 需要有接口脚本需要能监控系统性能需要能定时执行脚本 二、观察 >针…
阅读更多...
4.9 已建立连接的TCP，收到SYN会发生什么？

4.9 已建立连接的TCP，收到SYN会发生什么？

1. 客户端的 SYN 报文里的端口号与历史连接不相同 此时服务端会认为是新的连接要建立，于是就会通过三次握手来建立新的连接。 旧连接里处于 Established 状态的服务端最后会怎么样呢？ 服务端给客户端发消息了：客户端连接已被关闭&#xff…
阅读更多...
理解底层— —Golang的log库，二开实现自定义Logger

理解底层— —Golang的log库，二开实现自定义Logger

理解底层— —Golang的log库，实现自定义Logger 1 分析实现思路 基于golang中自带的log库实现：对日志实现设置日志级别，每天生成一个文件，同时添加上前缀以及展示文件名等 日志级别，通过添加prefix：[INFO]、…
阅读更多...
初探---Qt

初探---Qt

目录 一、介绍Qt 二、软件安装 三、QT工具介绍 四、Assistant帮助文档的使用 五、设计师界面的介绍 ​编辑 六、QT工程项目各文件初始程序的介绍 1> 配置文件：.pro文件 2> 头文件 3> 源文件 4> 主程序 5> 各文件之间调用方式 七、第一个…
阅读更多...
24V输入防反接电路

24V输入防反接电路

#24V输入防反接电路 （部分图片参考东沃电子） 用于对输入的24V电源进行防反接及ESD保护，可用于EMC测试实验的电源输入保护，额定电流3A，后级电路最大损坏电压为48V。 1.24V输入防反接原理图 如上图所示，24V_…
阅读更多...
Android RecyclerView 之 列表宫格布局的切换

Android RecyclerView 之 列表宫格布局的切换

前言 RecyclerView 的使用我就不再多说，接下来的几篇文章主要说一下 RecyclerView 的实用小功能，包括 列表宫格的切换，吸顶效果，多布局效果等，今天这篇文章就来实现一下列表宫格的切换，效果如下 一、数据来…
阅读更多...
C++八股记录

C++八股记录

C内存管理 C中，内存分成5个区。 栈：函数内局部变量；自动管理，效率高，但空间较小； 堆：new分配的内存块；手动管理，效率低，但空间大； 自由存储区&…
阅读更多...
【数据结构与算法 模版】高频题刷题模版

【数据结构与算法 模版】高频题刷题模版

废话不多说，喊一句号子鼓励自己：程序员永不失业，程序员走向架构！本篇Blog的主题是【】，使用【】这个基本的数据结构来实现，这个高频题的站点是：CodeTop，筛选条件为：目标公…
阅读更多...
实现带头双向循环链表

实现带头双向循环链表

🌈带头双向循环链表 描述：一个节点内包含两个指针，一个指向上一个节点，另一个指向下一个节点。哨兵位指向的下一个节点为头节点，哨兵位的上一个指向尾节点。 结构优势：高效率找尾节点；高效率插入…
阅读更多...
设计模式——装饰器模式

设计模式——装饰器模式

装饰器模式 装饰器模式（Decorator Pattern）允许向一个现有的对象添加新的功能，同时又不改变其结构。这种类型的设计模式属于结构型模式，它是作为现有的类的一个包装。 装饰器模式通过将对象包装在装饰器类中，以便动态…
阅读更多...
04架构管理之分支管理实践-一种git分支管理最佳实践

04架构管理之分支管理实践-一种git分支管理最佳实践

专栏说明：针对于企业的架构管理岗位，分享架构管理岗位的职责，工作内容，指导架构师如何完成架构管理工作，完成架构师到架构管理者的转变。计划以10篇博客阐述清楚架构管理工作，专栏名称：架构管理…
阅读更多...
【数据结构】二叉数的存储与基本操作的实现

【数据结构】二叉数的存储与基本操作的实现

文章目录 🍀二叉树的存储🌳二叉树的基本操作🐱‍👤二叉树的创建🐱‍👓二叉树的遍历🎡前中后序遍历📌前序遍历📌中序遍历📌后续遍历 🛫层序遍历&am…
阅读更多...
Vue2向Vue3过度核心技术插槽

Vue2向Vue3过度核心技术插槽

目录 1 插槽-默认插槽1.作用2.需求3.问题4.插槽的基本语法5.代码示例6.总结 2 插槽-后备内容（默认值）1.问题2.插槽的后备内容3.语法4.效果5.代码示例 3 插槽-具名插槽1.需求2.具名插槽语法3.v-slot的简写4.总结 4 作用域插槽1.插槽分类2.作用3.场景4.使用…
阅读更多...
C#，《小白学程序》第六课：队列（Queue）的应用，《实时叫号系统》

C#，《小白学程序》第六课：队列（Queue）的应用，《实时叫号系统》

医院里面常见的叫号系统怎么实现的&#xff1f; 1 文本格式 /// <summary> /// 下面定义一个新的队列&#xff0c;用于演示《实时叫号系统》 /// </summary> Queue<Classmate> q2 new Queue<Classmate>(); /// <summary> /// 《小白学程序》第…
阅读更多...
ChromeOS 的 Linux 操作系统和 Chrome 浏览器分离

ChromeOS 的 Linux 操作系统和 Chrome 浏览器分离

导读科技媒体 Ars Technica 报道称&#xff0c;谷歌正在将 ChromeOS 的浏览器从操作系统中分离出来 —— 让它变得更像 Linux。虽然目前还没有任何官方消息&#xff0c;但这项变化可能会在本月的版本更新中推出。 据介绍&#xff0c;谷歌将该项目命名为 "Lacros"——…
阅读更多...
监控抽烟检测识别算法

监控抽烟检测识别算法

监控抽烟检测识别算法采用yolov7系列网络模型深度学习图像识别技术&#xff0c;监控抽烟检测识别算法能够准确识别人员抽烟的动作和烟雾&#xff0c;监控抽烟检测识别算法一旦发现有人员在禁烟区域内抽烟&#xff0c;将立即触发预警。YOLO的结构非常简单&#xff0c;就是单纯的…
阅读更多...
遇到 Binder这些面试题，你会怎么答？

遇到 Binder这些面试题，你会怎么答？

作为开发人员&#xff0c;每个人都有每个人擅长领域&#xff0c;自然也有自己不擅长的领域&#xff0c;很难成为完美的一个全栈开发。在面试中最怕遇见的一件事是面试官专挑你不擅长的领域进行提问&#xff0c;目的就是看你遇到问题的应变能力。 接下给大家分享一个面试中容易被…
阅读更多...
Linux系统编程：线程控制

Linux系统编程：线程控制

目录 一. 线程的创建 1.1 pthread_create函数 1.2 线程id的本质 二. 多线程中的异常和程序替换 2.1 多线程程序异常 2.2 多线程中的程序替换 三. 线程等待 四. 线程的终止和分离 4.1 线程函数return 4.2 线程取消 pthread_cancel 4.3 线程退出 pthread_exit 4.4 线程…
阅读更多...
QML Book 学习基础3（动画）

QML Book 学习基础3（动画）

目录 主要动画元素 例子&#xff1a; 非线性动画 分组动画 Qt 动画是一种在 Qt 框架下创建交互式和引人入胜的图形用户界面的方法&#xff0c;我们可以认为是对某个基础元素的多个设置 主要动画元素 PropertyAnimation-属性值变化时的动画 NumberA…
阅读更多...
【操作系统】聊聊局部性原理是如何提升性能的

【操作系统】聊聊局部性原理是如何提升性能的

对于目前数据主导的系统&#xff0c;大多数都是Java/Go 技术栈MySQL&#xff0c;但是随着时间的推移&#xff0c;数据库数据的数据量过多&#xff0c;并且会频繁访问热点数据&#xff0c;为了提升系统的性能&#xff0c;一般都是加入缓存中间件、Redis。 局部性原理 我们知道…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023