ElasticSearch之ES8新特性及集群安装

文章目录

  • 1. Elasticsearch8 新特性
  • 2. Elasticsearch8安装及使用
    • 2.1 JDK说明
    • 2.2 安装软件
      • 2.2.1 集群规划
      • 2.2.2 安装步骤
        • 2.2.2.1 上传压缩包
        • 2.2.2.2 解压安装包
        • 2.2.2.3 创建Linux新用户/数据文件/证书目录
        • 2.2.2.4 设置通信秘钥
        • 2.2.2.5 生成HTTP证书
        • 2.2.2.6 调整证书位置
        • 2.2.2.7 修改配置文件
        • 2.2.2.8 启动ES
        • 2.2.2.9 访问服务器节点
        • 2.2.2.10 修改其他节点配置
        • 2.2.2.11 依次启动服务节点
      • 2.2.3 问题解决
        • 2.2.3.1 JDK问题
        • 2.2.3.2 SSL认证问题
        • 2.2.3.3 闪退问题
        • 2.2.3.4 忘记密码

2022年2月11日,Elasticsearch 发布了全新的8.0正式版本,新版本中通过改进Elasticsearch的矢量搜索功能、对现代自然语言处理模型(NLP)的原生支持、不断简化的数据上线过程,以及精简的安全防护体验,在速度、扩展幅度、相关性和简便性方面迎来了一个全新的时代。

1. Elasticsearch8 新特性

从2019年4月Elasticsearch7.0版本的发布,到2022年2月Elasticsearch8.0版本发布,基于不断优化开发设计理念,Elasticsearch 发布了一系列的小版本。这些小版本在以下方面取得了长足的进步并同时引入一些全新的功能:

  • 减少内存堆使用,完全支持 ARM 架构,引入全新的方式以使用更少的存储空间,从而让每个节点托管更多的数据
  • 降低查询开销,在大规模部署中成效尤为明显
  • 提高日期直方图和搜索聚合的速度,增强了页面缓存的性能,并创建了一个新的pre-filter搜索短语
  • Elasticsearch7.3 Elasticsearch7.4 版中,引入了对矢量相似函数的支持

在最新发布的Elasticsearch8.0版本中,也同样增加和完善了很多新的功能

  • 增加对自然语言处理 (NLP) 模型的原生支持,让矢量搜索功能更容易实现,让客户和员工能够使用他们自己的文字和语言来搜索并收到高度相关的结果
  • 直接在Elasticsearch中执行命名实体识别、情感分析、文本分类等,而无需使用额外 的组件或进行编码
  • Elasticsearch8.0基于Lucene 9.0开发的,那些利用现代NLP的搜索体验,都可以借 助(新增的)对近似最近邻搜索的原生支持,快速且大规模地实现。通过ANN,可以快速并高效地将基于矢量的查询与基于矢量的文档语料库(无论是小语料库、大语料库 还是巨型语料库)进行比较
  • 可以直接在Elasticsearch中使用 PyTorch Machine Learning 模型(如 BERT),并在Elasticsearch 中原生使用这些模型执行推理

2. Elasticsearch8安装及使用

2.1 JDK说明

Elasticsearch8最新版本依赖Java JDK17,所以在安装 ES 软件前,需要下载使用 Java JDK17但不使用也没关系

Elasticsearch 官方地址:https://www.elastic.co/cn/

Elasticsearch下载地址:https://www.elastic.co/cn/downloads/past-releases#elasticsearch

对于Java开发人员,更熟悉的开发版本应该是 JDK1.8,突然需要升级到 JDK17,其实本身会感觉有点不适应,甚至会有点排斥,担心升级后会对现有的程序代码造成影响。

其实,对于JDK1.8,最新版本的 JDK17 增加了很多的语法特性。对于大多数项目而言,想要利用这些新的特性,是需要修改代码的,但性能除外。

也就是说,升级 JDK 版本,现有代码即使不进行修改,也不会出现兼容问题,但性能会得到极大的提升,并且高吞吐量垃圾回收器比低延迟垃圾回收器更快,更重要的是它可以免费商用。

对于升级版本而言,如果你依然有顾虑,一个好的消息就是可以下载含有适配 JDKES 版本,上面提到的内容基本上就不用考虑。

2.2 安装软件

安装Elasticsearch采用Linux集群配置,准备三台Linux虚拟机,用于安装 Elasticsearch8 集群。

2.2.1 集群规划

启动集群后,每台虚拟机的进程如下:

主机名linux1linux2linux2
进程名es-node-1es-node-2es-node-3

给三台虚拟机搭建Elasticsearch集群,集群中-节点名称依次为:es-node-1es-node-2es-node-3

2.2.2 安装步骤

2.2.2.1 上传压缩包

将压缩包elasticsearch-8.1.0-linux-x86_64.tar.gz上传到虚拟机中

在这里插入图片描述

2.2.2.2 解压安装包

解压缩文件到自定义路径,本人解压路径为:/opt/module,解压后,软件路径为:/opt/module/elasticsearch-8.1.0

# 切换目录 
cd software 
# 解压缩 
tar -zxvf elasticsearch-8.1.0-linux-x86_64.tar.gz -C /opt/module 

解压后的Elasticsearch的目录结构如下

在这里插入图片描述

目录含义
bin可执行脚本目录
config配置目录
jdk内置 JDK 目录
lib类库
logs日志目录
modules模块目录
plugins插件目录

注意:当前安装 ES 版本为 8.1.0,自带 JDK,所以当前 Linux 虚拟机节点无需配置 Java 环境

2.2.2.3 创建Linux新用户/数据文件/证书目录

创建Linux新用户es,数据文件,证书目录,并修改Elasticsearch文件拥有者

# 新增 es 用户 
useradd es # 为 es 用户设置密码 
passwd es # 创建数据文件目录 
mkdir /opt/module/elasticsearch-8.1.0/data # 创建证书目录 
mkdir /opt/module/elasticsearch-8.1.0/config/certs #切换目录 
cd /opt/module/elasticsearch-8.1.0 # 修改文件拥有者 
chown -R es:es /opt/module/elasticsearch-8.1.0

2.2.2.4 设置通信秘钥

在第一台服务器节点 es-node-1 设置集群多节点通信密钥

# 切换用户 
su es # 签发 ca 证书,过程中需按两次回车键 
bin/elasticsearch-certutil ca # 用 ca 证书签发节点证书,过程中需按三次回车键 
bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12 # 将生成的证书文件移动到 config/certs 目录中
mv elastic-stack-ca.p12 elastic-certificates.p12 config/certs

2.2.2.5 生成HTTP证书

在第一台服务器节点 es-node-1 设置集群多节点 HTTP 证书

# 签发 Https 证书 
bin/elasticsearch-certutil http 
  • 每次要求输入时,需要输入的内容
    -在这里插入图片描述
    在这里插入图片描述

  • 指定证书路径

在这里插入图片描述

  • 无需输入密码

在这里插入图片描述

  • 设置证书失效时间

在这里插入图片描述

  • 无需每个节点配置证书

在这里插入图片描述

  • 输出连接到第一个节点的所有主机名称

在这里插入图片描述

  • 输出连接到第一个节点的所有主机 IP 地址

在这里插入图片描述

  • 不改变证书选项配置

在这里插入图片描述

  • 不给证书加密,按键输入两次回车

在这里插入图片描述

2.2.2.6 调整证书位置

解压刚生成的zip

# 解压文件 
unzip elasticsearch-ssl-http.zip # 移动文件 将解压后的证书文件移动到 config/certs 目录中 
mv elasticsearch/http.p12 kibana/elasticsearch-ca.pem config/certs 

2.2.2.7 修改配置文件

修改主配置文件:config/elasticsearch.yml

# 设置 ES 集群名称 
cluster.name: es-cluster  # 设置集群中当前节点名称 
node.name: es-node-1 # 设置数据,日志文件路径 
path.data: /opt/module/elasticsearch-8.1.0/data 
path.logs: /opt/module/elasticsearch-8.1.0/log # 设置网络访问节点 
network.host: linux1 # 设置网络访问端口 
http.port: 9200 # 初始节点 
discovery.seed_hosts: ["linux1"] # 安全认证 
xpack.security.enabled: true 
xpack.security.enrollment.enabled: true 
xpack.security.http.ssl: enabled: true keystore.path: /opt/module/elasticsearch-8.1.0/config/certs/http.p12 truststore.path: /opt/module/elasticsearch-8.1.0/config/certs/http.p12 
xpack.security.transport.ssl: enabled: true verification_mode: certificate keystore.path: /opt/module/elasticsearch-8.1.0/config/certs/elastic-certificates.p12 truststore.path: /opt/module/elasticsearch-8.1.0/config/certs/elastic-certificates.p12 # 此处需注意,es-node-1 为上面配置的节点名称 
cluster.initial_master_nodes: ["es-node-1"] 
http.host: [local, site] 
ingest.geoip.downloader.enabled: false 
xpack.security.http.ssl.client_authentication: none

2.2.2.8 启动ES

# 启动 ES 软件 
bin/elasticsearch 

第一次成功启动后,会显示密码,请记住,访问时需要。只有第一次才有!!!

在这里插入图片描述

注意:

​ 9300 端口为 Elasticsearch 集群间组件的通信端口

​ 9200 端口为浏览器访问的http协议RESTful端口

2.2.2.9 访问服务器节点

访问服务器节点:https://虚拟机地址:9200 。因为配置了安全协议,所以使用 https 协议进行访问,但由于证书是自己生成的,并不可靠,所以会有安全提示,选择继续即可

在这里插入图片描述

在这里插入图片描述

输入账号,密码登录,即可看到页面会有如下信息

在这里插入图片描述

2.2.2.10 修改其他节点配置

修改集群中其他节点的配置文件:config/elasticsearch.yml

linux2:证书直接拷贝,其他步骤完全相同,配置文件中修改如下内容即可

# 设置节点名称 
node.name: es-node-2 # 设置网络访问主机 
network.host: linux2

linux3:证书直接拷贝,其他步骤完全相同,配置文件中修改如下内容即可

# 设置节点名称 
node.name: es-node-3 # 设置网络访问主机 
network.host: linux3

2.2.2.11 依次启动服务节点

依次启动集群的三台服务器节点,不要忘记切换用户后再启动

# linux1:后台启动服务 
bin/elasticsearch -d # linux2: 后台启动服务 
bin/elasticsearch -d # linux3: 后台启动服务 
bin/elasticsearch -d

2.2.3 问题解决

2.2.3.1 JDK问题

Elasticsearch 是使用 Java开发的,Elasticsearch8.1 版本需要 JDK17 及以上版本。

默认安装包中带有 JDK 环境,如果系统配置 ES_JAVA_HOME环境变量,那么会采用系统配置的JDK。如果没有配置该环境变量,Elasticsearch会使用自带捆绑的 JDK,虽然自带的 JDK Elasticsearch软件推荐的 Java 版本,但一般建议使用系统配置的 JDK

2.2.3.2 SSL认证问题

Windows 环境中出现下面的错误信息,是因为开启了 SSL 认证,可以将SSL认证关闭

在这里插入图片描述

修改 config/elasticsearch.yml 文件,将 enabled 的值修改为 false

xpack.security.http.ssl: enabled: false keystore.path: certs/http.p12

启动成功后,如果访问 localhost:9200 地址后
在这里插入图片描述

弹出登录窗口,第一次启动时,因为开启了密码验证模式,在启动窗口中会显示输入账号和密码。如果没有注意到或没有找到账号密码,可以设置免密登录:

xpack.security.enabled: false 

2.2.3.3 闪退问题

双击启动窗口闪退,通过路径访问追踪错误,如果是空间不足,请修改config/jvm.options 配置文件

# 设置 JVM 初始内存为 1G。此值可以设置与-Xmx 相同,以避免每次垃圾回收完成后 JVM 重新分配内存 
# Xms represents the initial size of total heap space 
# 设置 JVM 最大可用内存为 1G 
# Xmx represents the maximum size of total heap space 
-Xms4g 
-Xmx4g 

2.2.3.4 忘记密码

启动后,如果密码忘记了,可以采用指令重置密码

# 使用 es 用户,执行指令,重置 elastic 用户密码 
bin/elasticsearch-reset-password -u elastic 

在这里插入图片描述

如果只启动单一节点,此操作可能会失败,至少启动 2 个节点,测试成功

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/67070.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

es中修改索引名称命令_在Elasticsearch中更改索引名称

es中修改索引名称命令 嘿, 今天,我碰巧写了一个脚本来解决一个看起来很多人都面临的特定问题:重命名给定的Elasticsearch索引。 自然地,有记录在案的解决方案,但是我没有Swift找到一个脚本可以让我找到我想要的位置—…

ElasticSearch改密码各种踩坑实录

ElasticSearch改密码各种踩坑实录 一、步骤 修改elasticsearch.yml文件的配置 #开启密码验证 xpack.security.enabled: false //暂时写成false,否则会出现如下报错1的情况,后续出现报错2,改为true即可 xpack.security.transport.ssl.enabl…

Arkime 修改默认安装的 Elasticsearch 的端口

将默认的es端口更改,并将arkime中配置的es端口更改 1.1 修改vim /etc/elasticsearch/elasticsearch.yml vim /etc/elasticsearch/elasticsearch.yml1.2 启动/重启es systemctl start elasticsearch.service systemctl restart elasticsearch.service1.3 访问 http…

docker 部署 elasticsearch后 修改 ES_JAVA_OPTS 参数

# 先停止docker容器,再停止docker服务,停止docker服务命令如下 systemctl stop docker service docker stop # 找到容器的配置文件存储目录,此目录下是容器启动时的配置文件所在目录 cd /var/lib/docker/containers/ # 修改配置文件config.v2.json vim c…

Android仿bilibili弹幕聊天室后面的线条动画

2018/08/08已优化成以下效果: GitHub:https://github.com/wuyr/PathView 哈哈,注意字眼,本文并不是仿弹幕聊天室,而是弹幕聊天室后面的线条动画。 今天在新版bilibili客户端发现了一个很炫酷的效果: 不过这动画太快了,…

昨晚B站、A站、豆瓣都崩了,作为程序员,你不会真以为是肖战搞的鬼吧?

现在是凌晨2点多,学东西学到了这个点,本来我是准备刷刷朋友圈就睡了的,但打开了朋友圈之后我发现了惊奇的一幕:B站、A站和豆瓣崩溃了。 我瞬间就清醒了,这种“百年难得一见”的怪事居然发生了?这一下一些不…

一场胆战心惊的B站面试,哔哩哔哩也太难进了

此次哔哩哔哩Java开发面试之旅可谓惊险,不过通过对大部分面试题套路的掌握,不出意外还是拿下了,下面我们来看看这些题是不是常见的不能再常见的了。这些面试题看了就能面上?当然不是,只是通过这些题让自己知道所欠缺的…

B站不挡脸弹幕前端是如何实现的?

相信最近有很多B站的用户都注意到了不挡脸的弹幕,打开一则视频右下角的“智能防挡弹幕”功能后,弹幕就不会再覆盖人像,而是呈现从人体身后穿过的效果。 简述实现方式 前端实现方法就正如PS中的“蒙版”一样,实心区域允许&#xf…

实现一个B站弹幕不挡人物的效果

如今各种视频网站,例如b站都有人物遮挡效果 其实是利用了svg图 css的mask-image属性去实现的。 打开f12可以取得 这种图片,就是由AI识别出来然后生成,一张图片也就一两K,一次加载很多张也不会造成很大的负担。 通过在视频不同时…

为了流量,何同学做了个“假B站”?

何同学是B站知名数码博主,凭借优秀的视频制作能力,内容创新获得广大年轻用户的喜欢。 2021年的时候,UP主老师好我叫何同学就发布了一条制作AirDesk的视频,随后迅速在社交媒体中引发了大量关注。 当时,该视频为B站全站…

为什么 B 站的弹幕可以不挡人物?

那天在 B 站看视频的时候,偶然发现当字幕遇到人物的时候就被裁切了,不会挡住人物,觉得很神奇,于是决定一探究竟。 高端的效果,往往只需要采用最朴素的实现方式,忙碌了两个小时,陈师傅打开了 F1…

酱缸中挣扎的无奈者——(感悟)

——读柏杨《酱缸震荡》随感(一) 让一些德才兼备的年轻人进入政坛,本应是一件好事,但结果却让老百姓深感失望。其中最主要的原因在于沉淀千年的腐臭不堪的官场文化。换言之,就是大家所强烈呼吁改革的政治体制所造成的…

中国最美的、令人震撼的10大名山

1、黄山—黄山归来不看岳,仿佛穿梭在人间与仙境。 黄山,位于安徽省南部黄山市境内,为三山五岳中三山之一。黄山为道教圣地,遗址遗迹众多,中华十大名山之一,有“天下第一奇山”之美誉。郦道元、李白、徐霞客…

细谈围城---我的启示录

2019独角兽企业重金招聘Python工程师标准>>> 不知什么原因&#xff0c;喜欢《围城》这本书&#xff0c;读<围城>&#xff0c;对于方鸿渐的经历&#xff0c;潜意识里总觉得不真实&#xff0c;总觉得是假的&#xff0c;读到小说的最后了&#xff0c;还是觉得故事…

RxPermissions源码分析

由于在项目中用到了RxPermissions框架&#xff0c;所以想看看源码&#xff0c;顺便记录一下自己对该框架的分析过程。 下面是一篇讲有关Android权限基础知识的文章&#xff0c;有心的小伙伴可以参考。 使用RxPermissions&#xff08;基于RxJava2&#xff09; App module的bui…

围城如社会,故事如生活

生活仍在继续,围城如社会,故事如生活,但我希望:我的社会不是围城,我的生活也不仅是故事。 【第1篇】 那时年少轻狂,喜欢反复翻阅围城,喜欢背诵那些譬喻,喜欢用譬喻来评论某事,喜欢学习钱老在围城里说话的腔调,觉得玩弄文字游戏是最过瘾的事了。后来,看的次数多起来…

任正非 鸿蒙 不为手机而生,为啥华为坚持用安卓,鸿蒙怎么办?任正非:它并不是为手机而生的...

虽说因为禁令的原因&#xff0c;导致华为和谷歌安卓中止部分合作关系&#xff0c;而华为也是推出了鸿蒙系统。可是在双方合作关系之后&#xff0c;华为方面也是表示&#xff0c;自己也将会继续使用安卓系统。这种做法&#xff0c;也是让不少用户有些懵了&#xff0c;为啥华为会…

为什么其他手机厂家不用鸿蒙,手机厂商为什么不用鸿蒙系统?鸿蒙HarmonyOS热议不断...

余承东说&#xff1a;“鸿蒙OS的出发点和Android(安卓)、iOS都不一样&#xff0c;是一款全新的基于微内核的面向全场景的分布式操作系统&#xff0c;能够同时满足全场景流畅体验、架构级可信安全、跨终端无缝协同&#xff0c;以及一次开发多终端部署的要求&#xff0c;鸿蒙应未…

android图标为什么是机器人,安卓图标为什么是个机器人?让鸿蒙来告诉你

大家都知道&#xff0c;安卓是个手机操作系统。目前全球80%的智能手机使用这个操作系统。国产手机都使用这个系统&#xff0c;全球只有苹果iPhone有抗衡安卓的iOS独立系统。但是有多少人了解&#xff0c;为什么安卓操作系统&#xff0c;图标是个小机器人呢&#xff1f; 这得从安…

华为v8升级为鸿蒙,为加速鸿蒙普及,华为要给老手机升级

对于华为来说&#xff0c;在推出鸿蒙系统之后&#xff0c;最关键的就是如何增加使用鸿蒙系统的用户。目前鸿蒙系统只适配在华为以及华为荣耀的手机上&#xff0c;其他手机并不支持。也就是说如果想要尽量提升鸿蒙的普及程度&#xff0c;就要让更多的用户去使用华为手机才行。 但…