Elasticsearch集群搭建

集群概念

在单台 ES 服务器上,随着一个索引内数据的增多,会产生存储、效 率、安全等问题。

因此引入集群

我们需要将索引拆分成多份,分别放入不同的服务器中,此时这几台服务器维护了同一个索引,我们称这几台服务器为一个 集群 ,其中的每一台服务器为一个 节点 ,每一台服务器中的数据
称为一个 分片。
由于副本机制的存在
此时如果某个节点故障,则会造成集群崩溃,所以每个节点的分片往往还会创建副本 ,存放在 其他节点 中,此时一个节点的崩溃就不会影响整个集群的正常运行。

集群

一组节点组织在一起称为一个集群,它们共同持有整个的数据,并一起提供索引和搜索功能。

节点 

一个节点是集群中的一台服务器,是集群的一部分。它存储数据,参与集群的索引和搜索功能。集群中有一个为主节点,主节点通过ES 内部选举产生。

分片

ES 可以把完整的索引分成多个分片,分别存储在 不同的节点上。

副本

ES 可以为每个分片创建副本,提高查询效率,保证在分片数据丢失后的恢复。
此外
1.分片的数量只能在索引创建时指定,索引创建后不能再更改分片数量,但可以改变副本的数量。

2.为保证节点发生故障后集群的正常运行,ES不会将某个分片和它的副本存在同一台节点上。

 安装第一个节点

1.修改系统进程最大打开文件数

vim /etc/security/limits.conf

# 添加如下内容
es soft nofile 65535
es hard nofile 131072

2.安装

# 解压:
tar -zxvf elasticsearch-8.10.4-linux-x86_64.tar.gz -C /usr/local/
#重命名
mv  elasticsearch-8.10.4  myes1
# 安装 ik 分词器
unzip elasticsearch-analysis-ik-8.10.4.zip -d  /usr/local/myes1/plugins/analysis-ik
# 安装拼音分词器
unzip elasticsearch-analysis-pinyin-8.10.4.zip -d   /usr/local/myes1/plugins/analysis-pinyin
#给当前普通用户取得该文件夹权限:
chown -R es1:es1 /usr/local/myes1

3.修改配置文件

# 打开节点一配置文件:
vim    /usr/local/myes1/config/elasticsearch.yml

加入以下配置

#集群名称,保证唯一
cluster.name: my_elasticsearch
#节点名称,必须不一样
node.name: node1
#可以访问该节点的ip地址
network.host: 0.0.0.0
#该节点服务端口号
http.port: 9200
#集群间通信端口号
transport.port: 9300
#候选主节点的设备地址
discovery.seed_hosts:
["127.0.0.1:9300","127.0.0.1:9301","127.0.0.
1:9302"]
#候选主节点的节点名
cluster.initial_master_nodes:
["node1","node2","node3"]
#关闭安全认证
xpack.security.enabled: false

 4.启动

# 切换为 es 用户:
su es
# 后台启动第一个节点:
ES_JAVA_OPTS = "-Xms512m -Xmx512m"   /usr/local/myes1/bin/elasticsearch -d

另外两节点 操作同上

但在修改elasticsearch.yml配置文件时不一样

第二节点

# 节点名称,必须不一样
node.name : node2
# 该节点服务端口号
http.port : 9201
# 集群间通信端口号
transport.port : 9301
第三节点
# 节点名称,必须不一样
node.name : node3
# 该节点服务端口号
http.port : 9202
# 集群间通信端口号
transport.port : 9302

验证:

访问

http://虚拟机ip:9200/_cat/nodes

出现下列信息,则代表集群成功启动 

如何验证每个节点是否成功启动

curl 虚拟机ip:节点端口号

关闭该节点

1.查看进程

ps -ef |grep elastic

2.杀死该进程

kill -9 进程号 

 集群_故障应对水平扩容

1.关闭一个节点,可以发现 ES 集群可以自动进行故障应对。
2.重新打开该节点,可以发现 ES 集群可以自动进行水平扩容。
3.分片数不能改变,但是可以改变每个分片的副本数

Elasticsearch优化_分片策略

分片和副本数并不是越多越好。每个分片的底层都是一个 Lucene 索引,会消耗一定的系统资源。且搜索请求需要命中索引中的所有分片,分片数过多会降低搜索性能

我们一般遵循以下规则:

1. 每个分片占用的硬盘容量不超过 ES 的最大 JVM 的堆空间设置 ( 一般设置不超过32G
2.分片数一般不超过节点数的 3
3. 推迟分片分配:节点中断后集群会重新分配分片。但默认集群会 等待一分钟来查看节点是否重新加入。我们可以设置等待的时 长,减少重新分配的次数。
4.减少副本数量:进行写入操作时,需要把写入的数据都同步到副本,副本越多写入的效率就越慢。我们进行大批量进行写入操作时可以先设置副本数为0 ,写入完成后再修改回正常的状态

Elasticsearch优化_内存设置 

ES 默认占用内存是 4GB ,我们可以修改 config/jvm.option 设置 ES 的堆内存大小。
Xms 表示堆内存的初始大小
Xmx 表示可分配的最大内存
1. Xmx Xms 的大小设置为相同的,可以减轻伸缩堆大小带来的压力
2. Xmx Xms 不要超过物理内存的 50% ,因为 ES 内部的 Lucene 也要占据一部分物理内存。
3.  Xmx Xms 不要超过 32GB ,由于 Java 语言的特性,堆内存超过 32G 会浪费大量系统资源,所以在内 存足够的情况下,最终我们都会采用设置为31G
-Xms 31g
-Xmx 31g

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/377763.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

每日一练@

目录 题目1.关于AOP错误的是?2.关于以下代码的说明,正确的是( )3.以下类型为Final类型的为()4.以下说法哪个是正确的() 题目 选自牛客网 1.关于AOP错误的是? A.AOP将散…

C++的缺省参数、函数重载和引用

缺省参数 缺省参数是声明或定义函数时为函数的参数指定⼀个缺省值。在调⽤该函数时,如果没有指定实参 则采⽤该形参的缺省值,否则使⽤指定的实参,缺省参数分为全缺省和半缺省参数。(有些地⽅把 缺省参数也叫默认参数),要注意的是…

2.The DispatcherServlet

The DispatcherServlet Spring的Web MVC框架与许多其他Web MVC框架一样,是请求驱动的,围绕一个中央Servlet(即DispatcherServlet)设计,该Servlet将请求分派给控制器,并提供其他功能以促进Web应用程序的开发…

VUE前端HTML静默打印(不弹出打印对话框)PDF简单方案

前言 在做打印功能的时候,以前大部分客户端都是用C#做的,静默打印(也就是不弹出打印对话框)比较简单。 但是使用浏览器作为客户端,静默打印(也就是不弹出打印对话框)做起来就比较困难。困难的…

Ubuntu 磁盘扩容

1.下载工具 sudo apt-get install gparted 2.调整大小

Stable Diffusion 使用

目录 背景 最简单用法 进阶用法 高手用法 safetensor 一、概述 二、主要特点 背景 Stable Diffusion 开源后,确实比较火,上次介绍了下 Stable Diffusion 最简单的concept。今天继续介绍下,以Liblib 为例,介绍下如何使用参…

Ubuntu22.4 Qt6.6 ros_qtc_plugin插件安装

1.下载官方插件 https://github.com/ros-industrial/ros_qtc_plugin/releases 2. Qt Creator中,“Help - 关于插件”–>“install Plugin…”–>“浏览…”,找到下载的插件,按照提示安装,最后重启Qt。 3.重启Qt后&#xff0…

Spark SQL 概述

Spark SQL 概述 Spark SQL 是 Apache Spark 的一个模块,专门用于处理结构化数据。它集成了 SQL 查询和 Spark 编程的强大功能,使得处理大数据变得更加高效和简便。通过 Spark SQL,用户可以直接在 Spark 中使用 SQL 查询,或者使用 …

JMeter进行HTTP接口测试的技术要点

参数化 用户定义的变量 用的时候 ${名字} 用户参数 在参数列表中传递 并且也是${} csv数据文件设置 false 不忽略首行 要首行 从第一行读取 true 忽略首行 从第二行开始 请求时的参数设置: 这里的名称是看其接口需要的请求参数的名称 这里的变量名称就是为csv里面…

itextpdf字体选择

itextpdf 版本7.2.5 itextpdf-html2pdf 版本4.0.5 这里讲的是通过html转pdf,在html2pdf中是通过html中font-family样式来确定字体的,那已知font-family的情况,怎么确定pdf中实际用的字体,大致分为两步: 1、通过font…

网页数据抓取:融合BeautifulSoup和Scrapy的高级爬虫技术

网页数据抓取:融合BeautifulSoup和Scrapy的高级爬虫技术 在当今的大数据时代,网络爬虫技术已经成为获取信息的重要手段之一。Python凭借其强大的库支持,成为了进行网页数据抓取的首选语言。在众多的爬虫库中,BeautifulSoup和Scrap…

图像识别和目标检测在超市电子秤上的应用

目录 前言深度学习的目标检测图像识别技术视觉秤的优势其他应用场景中的技术应用未来展望 前言 随着科技的不断发展,电子秤在生鲜超市中的应用也在不断升级。传统的电子秤需要打秤人员手动输入秤码,这不仅耗时费力,还需要大量的培训以记住各…

在Mac上一键安装Mysql(解决所有安装问题)

重点强调安装mysql成功的关键在于安装的版本不能是最新!! 目录 一:下载mysql数据库安装部分到此结束 二:配置mysql数据库三:启动mysql数据库四:各类奇葩问题总结 一:下载mysql数据库 1.进入MyS…

替换:show-overflow-tooltip=“true“ ,使用插槽tooltip,达到内容可复制

原生的show-overflow-tooltip“true” 不能满足条件&#xff0c;使用插槽自定义编辑&#xff1b; 旧code <el-table-column prop"reason" label"原因" align"center" :show-overflow-tooltip"true" /> <el-table-column pro…

SpringBoot系列:通过AOP+注解优雅实现操作日志记录

文章目录 前言一、简介1.1 操作日志在企业应用中的重要性1.2 使用AOP和注解实现操作日志记录的好处 二、开发环境三、准备工作3.1 创建操作日志记录表3.2 创建系统日志实体类 四、代码实现4.1 创建业务枚举类4.2 创建日志注解4.3 创建操作状态枚举类4.4 创建IP工具类4.5 创建切…

[A-04] ARMv8/ARMv9-Cache的相关策略

ver0.3 前言 前面我们已经通过三篇文章反反复复的讲Cache的概念、结构、架构&#xff0c;相信大家对Cache已经大概有了初步的了解。这里简单归纳一下: (1) Cache从硬件视角看&#xff0c;是连接PE-Core和主存的一种存储介质&#xff0c;存储的数据是主存中数据的副本&#xf…

【算法消费者行为】算法性能预期如何增强冲动性购买?—推文分享—2024-07-16

今天的推文主题是&#xff1a;【算法&消费者行为】 第一篇&#xff1a;如何通过管理多种刺激来优化客户体验&#xff1f;购买行为的驱动因素是隐性还是显性的消费者态度&#xff1f;第二篇&#xff1a;算法性能期望如何增强在线零售中的即兴购买行为。第三篇&#xff1a;社…

【Linux】Ubuntu 漏洞扫描与修复的吃瘪经历

自从上次“劫持”事情后&#xff0c;项目经理将所有跟安全相关的都推给我了&#xff08;不算 KPI 又要被白嫖&#xff0c;烦死了&#xff09;。这次客户又提了一个服务器安全扫描和漏洞修复的“活”&#xff0c;我这边顺手将过程记录一下&#xff0c;就当经验总结跟各位分享一下…

Parallels Desktop 19 for Mac(PD19虚拟机)详细图文安装教程分享

Parallels Desktop 19是一款功能丰富、性能强大且易于使用的虚拟机软件&#xff0c;它可以让您在Mac上同时运行多个操作系统&#xff0c;为您提供更大的灵活性和兼容性。 Parallels Desktop 19 for Mac(PD19虚拟机)下载安装包 Parallels Desktop 19 for Mac(PD19虚拟机)详细图…

【Visual Studio】Visual Studio使用技巧及报错解决合集

目录 目录 一.概述 二.Visual Studio报错问题及解决方法 三.Visual Studio操作过程中遇到的问题及解决方法 四.Visual Studio编译优化选项 五.Visual Studio快捷键 一.概述 持续更新Visual Studio报错及解决方法&#xff0c;包括Visual Studio报错问题及解决方法、Visua…