redis的集群模式与ELK基础

一、redis的集群模式

1.主从复制

（1）概述

        主从模式：这是redis高可用的基础，哨兵和集群都是建立在此基础之上。

        主从模式和数据库的主从模式是一样的，主负责写入，然后把写入的数据同步到从服务器，但是从节点只能读不能写（read only）

（2）工作过程

  1. 当配置完整之后，从节点启动，会向主节点发送一个sync command,请求同步连接
  2. master都会开启一个后台的进程将主节点的数据保存到数据文件中
  3. 主节点把数据同步给从节点从节点先把数据保存到硬盘，再加载到内存

（3）缺点

        不能做高可用的切换，主节点出现故障，没有替换的主节点，所有的写入操作都将失败。

（4）实验

redis1 192.168.206.40 主

redis2 192.168.206.50 从1

redis3 192.168.206.55 从2

时间同步：

ntpdate  ntp.aliyun.com

主从配置几乎一致

vim  /etc/redis/redis.conf

55行 监听地址注释掉

87行 改成no

224行 daemonize yes   #开启守护进程

1094行  appendonly yes

两台从服务器在第388行下添加：

replicaof 192.168.206.40 6379

systemctl restart redis

tail -f /var/log/redis/redis-server.log

#看见两台从服务器的同步信息

2.哨兵模式

（1）概述

        在主从模式的基础之上，哨兵模式引入了故障切换的模式。

        哨兵也是一个分布式的集群结构，对主从当中的每台服务器进行监控，当出现故障时，通过投票的机制选择一个新的master。被选举出的新的master会将所有的从节点重新连接到自己，从节点会自动同步到主，自动变成只读模式。

（2）工作过程

  1. 主从之间，互相有一个心跳的检测
  2. 当主节点宕机，从节点都会收到主的宕机的信息
  3. 两个从节点，自动进行投票，选择一个新的主
  4. 从节点会自动加入新主的主从模式。

 （3）实验

 #在配置哨兵模式的第一次的时候，人为的定义好主

三台操作一致：

apt -y install redis-sentinel

vim /etc/redis/sentinel.conf

16行注释掉

18行取消注释

27行 改成yes

142行 sentinel monitor mymaster 192.168.206.40 6379 2

#人工定义主的服务器

2的含义：当主节点发生故障，必须要有两个从节点同意，才能进行主节点的故障切换

#下面两条必须要写在定义主的下面

sentinel down-after-milliseconds mymaster 30000

#判断服务器宕机的时间周期是30000毫秒=30秒

sentinel failover-timeout mymaster 18000

#故障节点的最大超时时间18000=18秒

tail -f /var/log/redis/redis-sentinel.log #查看日志

systemctl stop redis#关闭40的redis，主会自动切换到50或者55，在40恢复工作后也会作为从加入到主上去

3.集群

（1）概述

        redis-cluster: 集群是由多个节点组成，redis的数据分布在节点当中，集群的当中每个节点又分主和从

        集群-->高可用，和主从复制不一样

（2）hash槽位

0-16383个hash槽位

A 0-5460

B 5461-10922

C 10923-16383

（3）工作过程

 

 （4）实验

6台同步一起操作：

时间同步

vim  /etc/redis/redis.conf

55行监听地址都注释掉

protected-mode no

224行 daemonize yes

1227行 cluster-enabled yes #开启集群

1235行 cluster-config-file nodes-6379.conf #设置集群的配置文件

1094行 appendonly yes

1241 cluster-node-timeout 15000 #设置集群的超时时间

redis-cli -h 192.168.206.40 --cluster create 192.168.206.40:6379 192.168.206.50:6379 192.168.206.55:6379 192.168.206.60:6379 192.168.206.70:6379 192.168.206.80:6379 --cluster-replicas 1

# --cluster-replicas 1: 表示每个主节点对应一个从节点

root@redis1:~# redis-cli -h 192.168.206.40 -p 6379

192 168 206 40:6379> set test10 10

(error) MOVED 9248 192.168.206.50:6379

#表示客户端尝试将这个数值保存到槽位号是9248的位置，实际槽位在50这个主机。

        redis的集群模式，只是满足高可用，不能实现数据同步。对数据同步要求很高的场景，选择redis的主从和哨兵。

二、ELK：统一日志收集系统

1.组成

elasticsearch

  • 分布式的全文索引引擎 非关系型数据库
  • 存储所有的日志信息，主从（最少需要2台 ）

logstash  

  • 动态的从各种指定的数据源获取数据，而且对书据进行过滤，分析
  • 按照统一的格式发送到es

kibana  

  • 把es的数据进行展示，进行客户端可以理解的操作，汇总、分析和搜索数据的平台。

2.工作过程 

  1. logstash收集日志数据
  2. 收集到的数据按照es的格式，发送到数据库
  3. 在图像界面展示-->kibana
  4. 客户端访问kibana

3.实验

nginx1 192.168.206.60 es1

nginx2 192.168.206.70 es2

nginx3 192.168.206.80 logstash kibana

 安装es

dpkg -i elasticsearch-6.7.2.deb

free -h
echo 3 > /proc/sys/vm/drop_caches #内存太小，就清理一下

vim  /etc/ elasticsearch/elasticsearch.yml

grep -v "^#" elasticsearch.yml #检查修改的地方
cluster.name: my-elk
node.name: node-1  #两边的node不能一致  第二台的编号为2
node.master: true  #该节点是否为主节点  第二台为false
node.data: true  #表示该节点是否为数据节点，主从都要

path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0 #修改服务的监听地址
http.port: 9200 #es对外提供的默认端口
transport.tcp.port: 9300   #指定es集群内部的通信接口
discovery.zen.ping.unicast.hosts: ["192.168.206.60:9300", "192.168.206.70:9300"]

#集群节点通过单播的形式，通过9300端口实现内部通信
http.cors.enabled: true  #开启跨域访问
http.cors.allow-origin: "*"  #允许跨域访问的地址域名为所有
systemctl restart elasticsearch  

tail -f /var/log/syslog

netstat -antp | grep 9200

用浏览器测试

安装logstash和kibana

dpkg -i logstash-6.7.2.deb

systemctl restart logstash.service

ln -s /usr/share/logstash/bin/logstash /usr/local/bin/ #创建软连接

dpkg -i kibana-6.7.2-amd64.deb

vim  /etc/kibana/kibana.yml

grep -v "^#" kibana.yml
server.port: 5601 #监听端口
server.host: "0.0.0.0" 
elasticsearch.hosts: ["http://192.168.206.60:9200","http://192.168.206.70:9200"]
kibana.index: ".kibana" #索引
logging.dest: /var/log/kibana.log  #日志位置
i18n.locale: "zh-CN" #支持中文

touch  /var/log/kibana.log

logstash -f system.conf --path.data  /op&  #后台运行

 

vim /etc/logstash/conf.d/system.conf

input {
    file {
        path=>"/var/log/syslog"

         #指定要收集的日志文件的路径
        type=>"system"

        #自定义索引的标志类型
        start_position=>"beginning"

        #表示从哪个位置开始收集日志，end
        }
}

output {
    elasticsearch {
        hosts => ["192.168.206.60:9200","192.168.206.70:9200"]

        #指定服务器ip地址和端口
        index => "system-%{+YYYY.MM.dd}"

        #索引名称
        }
}

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/500746.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

建立一个Macos载入image的实例含界面

建立一个Macos载入image的实例含界面

前言 为了方便ios程序的开发，有时候需要先用的Macos平台进行一些功能性的程序开发。 作为对比和参考。 1、创建一个MacOS的App 2、主界面控件的增加 添加的控件方法与ios相同，也是再用commandshiftL（CtrlShiftL）,就会弹出控件…
阅读更多...
《机器学习》从入门到实战——逻辑回归

《机器学习》从入门到实战——逻辑回归

目录 一、简介 二、逻辑回归的原理 1、线性回归部分 2、逻辑函数（Sigmoid函数） 3、分类决策 4、转换为概率的形式使用似然函数求解 5、对数似然函数 ​编辑 6、转换为梯度下降任务 三、逻辑回归拓展知识 1、数据标准化 （1&#xf…
阅读更多...
实践：事件循环

实践：事件循环

实践：事件循环 代码示例 console.log(1); setTimeout(() > console.log(2), 0); Promise.resolve(3).then(res > console.log(res)); console.log(4);上述的代码的输出结果是什么 1和4肯定优先输出，因为他们会立即方式堆栈的执行上下文中执行&am…
阅读更多...
【机器学习】工业 4.0 下机器学习如何驱动智能制造升级

【机器学习】工业 4.0 下机器学习如何驱动智能制造升级

我的个人主页 我的领域：人工智能篇，希望能帮助到大家！！！👍点赞 收藏❤ 随着科技的飞速发展，工业 4.0 浪潮正席卷全球制造业，而机器学习作为这一变革中的关键技术，正以前…
阅读更多...
自从学会Git，感觉打开了一扇新大门

自从学会Git，感觉打开了一扇新大门

“同事让我用 Git 提交代码，我居然直接把项目文件压缩发过去了……”相信很多初学者都经历过类似的窘境。而当你真正掌握 Git 时，才会发现它就像一本魔法书，轻松解决代码管理的种种难题。 为什么 Git 能成为程序员的标配工具？它究…
阅读更多...
Mono里运行C#脚本21—mono_image_init_name_cache

Mono里运行C#脚本21—mono_image_init_name_cache

前面分析了怎么样加载mscorlib.dll文件，然后把文件数据读取到内存。 接着下来，就会遇到加载整个C#的类型系统，比如System. Object，大体类型如下图所示： 在对CIL编译之前，需要把这些类型全部加载到内存里，以便快捷地访问它们。 mono_image_init_name_cache函数就是完成…
阅读更多...
【Triton-ONNX】如何使用 ONNX 模型服务与 Triton 通信执行推理任务上-Triton快速开始

【Triton-ONNX】如何使用 ONNX 模型服务与 Triton 通信执行推理任务上-Triton快速开始

模型部署系列文章 前置-docker 理解:【 0 基础 Docker 极速入门】镜像、容器、常用命令总结前置-http/gRPC 的理解: 【HTTP和gRPC的区别】协议类型/传输效率 /性能等对比【保姆级教程附代码】Pytorch (.pth) 到 TensorRT (.plan) 模型转化全流程【保姆级教程附代码(二)】Pytor…
阅读更多...
win32汇编环境，对话框中显示bmp图像文件

win32汇编环境，对话框中显示bmp图像文件

;运行效果 ;win32汇编环境，对话框中显示bmp图像文件 ;显示的是一张尺寸267*400的bmp位图,及一张缩小为原来三分之一的位图 ;将代码复制进radasm软件里，直接编译就可以运行了 ;下面为asm文件 ;>>>>>>>>>>>>>>&…
阅读更多...
GAN对抗生成网络（二）——算法及Python实现

GAN对抗生成网络（二）——算法及Python实现

1 算法步骤 上一篇提到的GAN的最优化问题是，本文记录如何求解这一问题。 首先为了表示方便，记，这里让最大的可视作常量。 第一步，给定初始的，使用梯度上升找到 ,最大化。关于梯度下降，可以参考笔者另一篇…
阅读更多...
多线程访问FFmpegFrameGrabber.start方法阻塞问题

多线程访问FFmpegFrameGrabber.start方法阻塞问题

一、背景 项目集成网络摄像头实现直播功能需要用到ffmpeg处理rtmp视频流进行web端播放 通过网上资源找到大神的springboot项目实现了rtmp视频流转为http请求进行视频中转功能，其底层利用javacv的FFmpegFrameGrabber进行拉流、推流，进而实现了视频中转。 …
阅读更多...
X86、X64、64位、32位归纳总结

X86、X64、64位、32位归纳总结

梳理一下位数区别和命名规范。 操作系统的位数决定了内存寻址空间的大小 X86_32的简称是X86。32位，最多只能识别4GB的内存。 X86_64的简称是X64。64位，最多能识别数十TB内存。 由于历史发展原因，形成了这样的简称，简称很关键。…
阅读更多...
redis的学习（二）

redis的学习（二）

4 哈希表 哈希类型中的映射关系通常称为field-value，⽤于区分Redis整体的键值对（key-value）， 注意这⾥的value是指field对应的值，不是键（key）对应的值， 4.1 操作命令 hset&#xff…
阅读更多...
前端编码技巧与规范

前端编码技巧与规范

当我们完成项目的构建，进入开发阶段的时候，除了你需要了解框架本身的知识点外，我们还需要提前掌握一些项目的编码技巧与规范，在根源上解决之后因编码缺陷而导致的项目维护困难、性能下降等常见问题，为项目多人开发提供…
阅读更多...
谷歌广告关键词出价根据什么来判断？

谷歌广告关键词出价根据什么来判断？

投放广告的目的是为了盈利，而关键字的出价直接关系到广告费用的支出。因此，设定出价上限时，不仅要参考关键字规划师的建议，还需结合广告的盈利表现来合理判断。 可以在谷歌广告账户的后台查看“平均每次点击费用”和“每次点击的…
阅读更多...
《我在技术交流群算命》(二)：QGraphicsItem怎么写自定义信号啊（QObject多继承顺序问题）

《我在技术交流群算命》(二)：QGraphicsItem怎么写自定义信号啊（QObject多继承顺序问题）

某位群友突然无征兆的抛出以下问题： QGraphicsItem怎么写自定义信号啊 看到这个问题的时候我是比较疑惑的，按鄙人对 Qt 的了解，自定义信号只需: 继承QObject类中加入Q_OBJECT宏声明一个信号并使用 但该群友毕竟也不是一个Qt新手&#xff0…
阅读更多...
filebeat采集应用程序日志和多行匹配

filebeat采集应用程序日志和多行匹配

1 filebeat采集nginx json日志 01 修改nginx的日志为json格式 elk93节点安装nginx，注释掉默认的nginx日志格式：# access_log /var/log/nginx/access.log;，在下方增加以下配置。然后重启nginx log_format wzy_nginx_json {"timestamp&…
阅读更多...
大语言模型提示技巧（二）－给模型时间思考

大语言模型提示技巧（二）－给模型时间思考

在与大语言模型交互的时候，如果模型给出了错误的结论，不要着急否定大模型的能力，我们应当尝试重新构建查询，请求模型在提供它的最终答案之前进行一系列相关的推理。也就是说，如果给模型一个在短时间或用少量文字无法完…
阅读更多...
深入剖析MySQL数据库架构：核心组件、存储引擎与优化策略（一）

深入剖析MySQL数据库架构：核心组件、存储引擎与优化策略（一）

sql语句分为两大类：查询（select）、增删改----修改（update） select语句的执行流程 执行sql语句的流程：连接数据库、缓存查询、解析器、优化器、执行器、存储引擎操作数据 客户端：图形界面工具…
阅读更多...
【AimRT】现代机器人通信中间件 AimRT

【AimRT】现代机器人通信中间件 AimRT

目录 一、什么是AimRT二、AimRT与ROS22.1 定位与设计2.2 组成与通信方式对比 三、AimRT基本概念3.1 Node、Pkg 和 Module3.2 Protocol、Channel、Rpc 和 Filter3.3 App模式 和 Pkg模式3.4 Executor3.5 Plugin 一、什么是AimRT AimRT 是智元机器人公司自主研发的一款机器人通信…
阅读更多...
SSM-Spring-AOP

SSM-Spring-AOP

目录 1 AOP实现步骤（以前打印当前系统的时间为例） 2 AOP工作流程 3 AOP核心概念 4 AOP配置管理 4-1 AOP切入点表达式 4-1-1 语法格式 4-1-2 通配符 4-2 AOP通知类型 五种通知类型 AOP通知获取数据 获取参数 获取返回值 获取异常 总结 5 …
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023