🧑 博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/?__c=1000，移动端可微信小程序搜索“历代文学”）总架构师，
15年工作经验，精通Java编程，高并发设计，Springboot和微服务，熟悉Linux，ESXI虚拟化以及云原生Docker和K8s，热衷于探索科技的边界，并将理论知识转化为实际应用。保持对新技术的好奇心，乐于分享所学，希望通过我的实践经历和见解，启发他人的创新思维。在这里，我希望能与志同道合的朋友交流探讨，共同进步，一起在技术的世界里不断学习成长。
技术合作请加本人wx（注明来自csdn）：foreast_sea
【Elasticsearch】集群配置深度解析与实践
引言
在当今数据爆炸的时代，海量数据的存储、检索和分析成为了许多企业和开发者面临的重要挑战。Elasticsearch作为一款开源的分布式搜索引擎，以其强大的搜索和分析功能，被广泛应用于各种场景。然而，要充分发挥Elasticsearch的性能优势，合理配置集群是至关重要的。
Elasticsearch集群能够将数据分布在多个节点上，实现数据的冗余存储和并行处理，从而提高系统的可靠性和性能。通过集群配置，我们可以根据实际需求灵活调整节点的角色和属性，优化节点间的通信和发现机制，以满足不同业务场景下对数据处理的要求。
想象一下，一个电商平台每天都会产生海量的用户行为数据，如搜索记录、购买记录等。如果没有一个高效的搜索和分析系统，企业很难从这些数据中挖掘出有价值的信息，也就无法为用户提供个性化的推荐和服务。而Elasticsearch集群的合理配置，能够让企业快速、准确地处理这些数据，为用户提供更好的体验，同时也为企业的决策提供有力支持。
在本文中，我们将深入探讨Elasticsearch集群的配置方法，包括集群名称的配置、节点角色与属性的设置以及节点间通信与发现机制的配置。我们还将通过实际案例来演示这些配置的具体应用，帮助读者更好地理解和掌握Elasticsearch集群的配置技巧。
1. 集群名称配置
1.1 集群名称的作用
在Elasticsearch中，集群名称（cluster.name）是一个非常重要的配置项。它用于标识一个Elasticsearch集群，集群中的所有节点必须使用相同的集群名称才能组成一个有效的集群。可以将集群名称看作是集群的“身份证”，只有名称相同的节点才能相互识别并进行通信和协作。
1.2 配置方法
在Elasticsearch的配置文件elasticsearch.yml中，可以通过设置cluster.name参数来指定集群名称。以下是一个示例：
cluster.name: my-es-cluster
在上述示例中，我们将集群名称设置为my-es-cluster。在实际应用中，你可以根据自己的需求为集群命名，但要确保集群中的所有节点都使用相同的名称。
1.3 配置示例
假设我们要搭建一个包含3个节点的Elasticsearch集群，节点分别为node1、node2和node3。首先，在每个节点的elasticsearch.yml配置文件中添加以下内容：
节点node1的配置文件（elasticsearch.yml）：
cluster.name: my-test-cluster
node.name: node1
节点node2的配置文件（elasticsearch.yml）：
cluster.name: my-test-cluster
node.name: node2
节点node3的配置文件（elasticsearch.yml）：
cluster.name: my-test-cluster
node.name: node3
在上述配置中，我们将集群名称统一设置为my-test-cluster，并为每个节点指定了唯一的节点名称。启动这3个节点后，它们将自动组成一个名为my-test-cluster的Elasticsearch集群。
2. 节点角色与属性设置
2.1 节点角色概述
在Elasticsearch集群中，节点可以扮演不同的角色，每个角色都有其特定的职责和功能。常见的节点角色包括：
- 主节点（Master Node）：主节点负责管理集群的状态，如创建和删除索引、分配分片等。一个集群中可以有多个主节点候选节点，但在同一时刻只有一个主节点处于活动状态。主节点需要具备较高的稳定性和性能，因为它对集群的正常运行起着关键作用。
- 数据节点（Data Node）：数据节点负责存储和处理数据，即保存索引的分片数据并执行搜索、索引等操作。数据节点的性能直接影响到集群的数据处理能力，因此通常需要配置较高的内存和磁盘资源。
- 协调节点（Coordinating Node）：协调节点主要负责接收客户端的请求，并将请求转发到合适的数据节点进行处理。它还负责合并各个数据节点的返回结果，并将最终结果返回给客户端。协调节点本身不存储数据，主要起到协调和路由的作用。
2.2 节点角色配置方法
在Elasticsearch中，可以通过在配置文件elasticsearch.yml中设置相关参数来指定节点的角色。以下是一些常用的配置参数：
node.master：用于指定节点是否为主节点候选节点。取值为true或false，默认为true。如果设置为true，则该节点有资格被选举为主节点；如果设置为false，则该节点不能成为主节点。node.data：用于指定节点是否为数据节点。取值为true或false，默认为true。如果设置为true，则该节点将存储和处理数据；如果设置为false，则该节点不存储数据，仅作为协调节点或主节点。node.ingest：用于指定节点是否为预处理节点。取值为true或false，默认为true。预处理节点可以在数据索引之前对数据进行预处理，如数据转换、数据清洗等操作。
以下是一些节点角色配置的示例：
仅作为主节点（不存储数据）的配置：
node.master: true
node.data: false
仅作为数据节点（不参与主节点选举）的配置：
node.master: false
node.data: true
仅作为协调节点（不存储数据，不参与主节点选举）的配置：
node.master: false
node.data: false
2.3 配置示例
假设我们要搭建一个包含3个节点的Elasticsearch集群，其中node1作为主节点（不存储数据），node2和node3作为数据节点（不参与主节点选举）。以下是各个节点的配置文件示例：
节点node1的配置文件（elasticsearch.yml）：
cluster.name: my-test-cluster
node.name: node1
node.master: true
node.data: false
节点node2的配置文件（elasticsearch.yml）：
cluster.name: my-test-cluster
node.name: node2
node.master: false
node.data: true
节点node3的配置文件（elasticsearch.yml）：
cluster.name: my-test-cluster
node.name: node3
node.master: false
node.data: true
在上述配置中，我们根据需求分别设置了各个节点的角色。启动这3个节点后，它们将组成一个Elasticsearch集群，其中node1将被选举为主节点，负责管理集群的状态，node2和node3将作为数据节点，负责存储和处理数据。
3. 节点间通信与发现机制配置
3.1 节点发现机制概述
在Elasticsearch集群中，节点需要能够相互发现并建立通信连接，才能组成一个有效的集群。Elasticsearch提供了多种节点发现机制，其中最常用的是基于种子节点列表（seed nodes）的发现机制。
种子节点列表是一个包含集群中部分节点地址的列表，新节点在启动时会尝试连接种子节点列表中的节点，以获取集群的状态信息和其他节点的地址。通过这种方式，新节点可以加入到集群中，并与其他节点建立通信连接。
3.2 配置种子节点列表
在Elasticsearch的配置文件elasticsearch.yml中，可以通过设置discovery.seed_hosts参数来指定种子节点列表。discovery.seed_hosts参数的值可以是一个或多个节点的地址，多个地址之间用逗号分隔。以下是一个示例：
discovery.seed_hosts: ["node1.example.com", "node2.example.com"]
在上述示例中，我们指定了两个种子节点的地址node1.example.com和node2.example.com。新节点在启动时将尝试连接这两个种子节点，以加入到集群中。
3.3 网络端口配置
在Elasticsearch中，节点之间的通信需要通过特定的网络端口进行。Elasticsearch默认使用以下两个端口：
9200端口：这是Elasticsearch的HTTP REST API端口，用于客户端与集群进行通信。客户端可以通过该端口向集群发送各种请求，如索引数据、搜索数据等。9300端口：这是Elasticsearch节点之间的通信端口，用于节点之间的数据传输和通信。
在实际应用中，如果需要更改这些默认端口，可以在配置文件elasticsearch.yml中进行设置。以下是更改端口的示例：
更改HTTP REST API端口：
http.port: 9201
更改节点间通信端口：
transport.port: 9301
3.4 配置示例
假设我们要搭建一个包含3个节点的Elasticsearch集群，节点分别为node1、node2和node3，它们的IP地址分别为192.168.1.101、192.168.1.102和192.168.1.103。我们将node1和node2设置为种子节点，并更改节点间通信端口为9301。以下是各个节点的配置文件示例：
节点node1的配置文件（elasticsearch.yml）：
cluster.name: my-test-cluster
node.name: node1
node.master: true
node.data: true
discovery.seed_hosts: ["192.168.1.101", "192.168.1.102"]
transport.port: 9301
节点node2的配置文件（elasticsearch.yml）：
cluster.name: my-test-cluster
node.name: node2
node.master: true
node.data: true
discovery.seed_hosts: ["192.168.1.101", "192.168.1.102"]
transport.port: 9301
节点node3的配置文件（elasticsearch.yml）：
cluster.name: my-test-cluster
node.name: node3
node.master: false
node.data: true
discovery.seed_hosts: ["192.168.1.101", "192.168.1.102"]
transport.port: 9301
在上述配置中，我们将node1和node2的地址设置为种子节点列表，新节点node3在启动时将尝试连接这两个种子节点，以加入到集群中。同时，我们将节点间通信端口统一设置为9301。启动这3个节点后，它们将组成一个Elasticsearch集群，并通过9301端口进行节点间的通信。
参考资料文献
- Elasticsearch官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html
- 《Elasticsearch实战》，作者：Rafał Kuć。
