ELK笔记

要搞成这样就需要钱来买服务器

  1. 开发人员一般不会给服务器权限,不能到服务器上直接看日志,所以通过ELK看日志。不让开发登录服务器。即使你查出来是开发的问题,费时间,而且影响了业务了,就是运维的问题
    开发也不能登录到容器,因为担心他把配置搞坏了。
  2. es cluster 有三到7台(存储搜索日志用),接 logstash, 接缓存 kafka,再接 web
    web不经过缓存直接传到es, 几千个容器的话,磁盘IO 和网卡会出现瓶颈,还会出现丢日志的情况(堵塞,写不进去了)。另外还有开发忘记关debug,更加剧了压力
  3. es 比如分三台机器,主分片和副分片存储在不同的两台机器上。为了就是一个机器down,数据不会丢失
  4. 规划三年左右的业务量,避免后期还要扩。要不很麻烦。es服务器的配置是
    在这里插入图片描述
    物理机的总体内存是96G,es用32G
    15k RPM:性能最高的机械硬盘,适合对高I/O密集型任务的需求,如数据库和大型服务器系统。

示例

假设有4块硬盘:

  • 硬盘1和硬盘2组成一组,采用RAID 1镜像;
  • 硬盘3和硬盘4组成另一组,采用RAID 1镜像;
  • 然后将这两组硬盘再通过RAID 0进行条带化。

这样,RAID 10既能保证任意一块硬盘故障时不会丢失数据(因为有镜像备份),同时也能提升数据传输的速度(因为有条带化)。

例如,在一个需要频繁进行大数据量读写操作的数据库服务器中,RAID 10能够提供高效的读取和写入速度,同时保证数据安全。在硬盘损坏的情况下,数据可以从镜像中恢复,不影响正常的服务运行。

  1. logstash需要在每台机器上都安装,它是java环境的。也可以daemonset方式部署
    在这里插入图片描述
  2. 日志都在一块的话,你就能快速找出有问题的error。不用一个个去看
  3. 通过统计日志,找到同一个ip大量访问,把这个有问题的ip加入黑名单。达到安全的作用
  4. 还可以通过日志找出耗时多的服务
  5. logstash放到容器里不可行。因为它需要java环境,而且很大,要用filebeat替代,收集日志后再接 logstash,处理日志
  6. 开启nginx账号认证功能在kibana前面,为了再添加一层认证。安全
  7. 就像 kafka的topic .es的叫做索引
    在这里插入图片描述
  8. 弄两块盘做raid 1,做系统。另外8块盘做raid10. 时间要同步
  9. es logstash kibana版本要一致,小版本也不要跨。都是rpm包安装到裸机的

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/419340.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2024国赛数学建模C题论文:基于优化模型的农作物的种植策略

大家可以查看一下35页,包含结构完整,数据完整的C题论文,完整论文见文末名片 添加图片注释,不超过 140 字(可选) 添加图片注释,不超过 140 字(可选) 添加图片注释&#xf…

Computer Exercise

每日一练 单选题 (     D     ) 的作用是在外界中断供电的情况下,及时给计算机等设备供电。 A.WPS     B.USB     C.UBS     D.UPS(    B     )广泛应用于精密仪器、医疗设备等对电流稳定性要求较高的场…

Unity之获取Avpro视频画面并在本地创建缩略图

一、效果 获取StreamingAssets文件夹下的所有视频(包含其子文件夹),获取指定时间的视频画面,然后将图片保存到本地磁盘中。 二、关于Avpro的事件监听 当指定视频时间进度时会触发FinishedSeeking,代表加载完成这时我们…

fpga系列 HDL:Relu激活函数实现与仿真

代码实现对OUTPUT_NODES个32位浮点数进行RELU操作。32位浮点数的二进制表示遵循 IEEE 754 标准,通常称为单精度浮点数。这个标准定义了浮点数的表示方法,具体分为三个部分: 符号位 (1 bit): 用于表示浮点数的正负。( 0 表示正数&a…

全国糖酒会,就这5个字。“会天下美味”

“全国糖酒会,会天下美味”,是全国糖酒会的品牌口号。这个品牌口号来的非常偶然。 两年前,全国糖酒会准备更新标志之时,也设计了一个品牌口号。新标志发布前几天,临时作了调整,最终变成了“全国糖酒会&…

linux下oracle启动及关于pfile和spfile启动参数文件的配置

在现代企业环境中,Oracle数据库作为关键的业务支撑平台,承载着大量的数据处理和事务管理任务。 无论是对于DBA(数据库管理员)还是开发人员来说,掌握Oracle数据库的基本操作和配置技巧都是至关重要的。本文提供了一份全…

Flutter基本组件Text使用

Text是一个文本显示控件,用于在应用程序界面中显示单行或多行文本内容。 Text简单Demo import package:flutter/material.dart;class MyTextDemo extends StatelessWidget {const MyTextDemo({super.key});overrideWidget build(BuildContext context) {return Sca…

Protobuf库的使用

文章目录 Protobuf是什么Protobuf使⽤流程介绍ProtoBuf的使用创建.proto⽂件指定proto3语法package声明符定义消息(message)编译contacts.proto⽂件命令如下:序列化与反序列化的使⽤ Protobuf是什么 ProtoBuf(全称ProtocolBuffer…

【Python基础】Python函数

本文收录于 《Python编程入门》专栏,从零基础开始,分享一些Python编程基础知识,欢迎关注,谢谢! 文章目录 一、前言二、函数的定义与调用三、函数参数3.1 位置参数3.2 默认参数3.3 可变数量参数(或不定长参数…

若依框架登录鉴权详解(动态路由)

若依框架登录鉴权:1.获取token(过期在响应拦截器中实现),2.基于RBAC模型获取用户、角色和权限信息(在路由前置守卫),3.根据用户权限动态生成(从字符串->组件,根据permission添加动…

【C++进阶】hash表的封装

文章目录 hash表哈希表的关键组成部分哈希表的优缺点优点:缺点: 常见应用场景 开放定址法实现hash表负载因子 (Load Factor)负载因子的意义负载因子的影响再散列 (Rehashing)示例 整体框架insertFinderasehash桶封装框架insertfinderase~HashTable() 总结…

银行结算业务

1.1 银行本票 银行本票是由银行签发的,承诺自己在见票时无条件支付票款给收款人或持票人的业务。银行本票按票面划分为定额本票和不定额本票,按币种划分为人民币银行本票和外币银行本票。人民币银行本票仅在同一交换区域内使用,资金清算利用当地人民银行组织的资金清算形式…

多个vue项目部署到nginx服务器

文章目录 需求一、项目打包1.vue.config.js2.request.js文件3.打包 二、nginx配置 需求 同一个域名安装多个vue项目。 比如:域名为 https://domain.com 后缀。那么通过不同的后缀就能去访问不同的项目地址。 https://domain.com,不加任何后缀&#x…

【第0006页 · 数组】寻找重复数

【前言】本文以及之后的一些题解都会陆续整理到目录中,若想了解全部题解整理,请看这里: 第0006页 寻找重复数 今天想讨论的一道题在 LeetCode 上评论也是颇为“不错”。有一说一,是道好题,不过我们还是得先理解了它才…

微信小程序中如何监听元素进入目标元素

Page({onLoad: function(){// 如果目标节点(用选择器 .target-class 指定)进入显示区域以下 100px 时,就会触发回调函数。wx.createIntersectionObserver().relativeToViewport({bottom: 100}).observe(.target-class, (res) > {res.inter…

合宙4G模组Air780EX——产品规格书

Air780EX 是合宙通信推出的LTE Cat.1 bis通信模块; Air780EX采用移芯EC618平台,支持LTE 3GPP Rel.13 技术; Air780EX 是4G全网通模块,可适应不同的运营商和产品,确保产品设计的最大灵活性。 其主要特点和优势可以总…

maven配置文件常用模板

注释很详细&#xff0c;直接上代码 项目结构 内容 父项目 pom.xml <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0"xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi…

高德地图SDK Android版开发 10 InfoWindow

高德地图SDK Android版开发 10 InfoWindow 前言相关类和方法默认样式Marker类AMap类AMap.OnInfoWindowClickListener 接口 自定义样式(视图)AMap 类AMap.ImageInfoWindowAdapter 接口 自定义样式(Image)AMap.ImageInfoWindowAdapter 接口 示例界面布局MapInfoWindow类常量成员变…

【数学建模国赛思路预约】2024全国大学生数学建模竞赛助攻思路、代码、论文

2024年全国大学生数学建模大赛马上就要开始了&#xff0c;大家有没有准备好呢&#xff0c;今年将会和之前一样&#xff0c;将会在比赛赛中时期为大家提供比赛各题的相关解题思路、可运行代码参考以及成品论文。 一、分享计划表如下所示 1、 赛中分享内容包括&#xff08;2023国…

高并发内存池(二):​整体框架的介绍与ThreadCache的实现

目录 整体框架介绍 ThreadCache的主体框架 自由链表-FreeList 内存对齐-RoundUp 计算桶位置-Index 基础版 进阶版 线程局部存储 __declspec(thread) 关键字 实现线程无锁 申请内存-Allocate 释放内存-Deallocate 从中心缓存中申请内存 整体框架介绍 高并发内存池…