Elasticsearch 重建索引 数据迁移

Elasticsearch 重建索引 数据迁移

  • 处理流程
  • 创建临时索引
  • 数据迁移
  • 重建索引
  • 写在最后

大家都知道，es的索引创建完成之后就不可以再修改了，包括你想更改字段属性或者是分词方式等。那么随着业务数据量的发展，可能会出现需要修改索引，或者说叫做重建索引的情况，那么这个时候应该怎么操作呢？本文主要就这个问题进行讨论处理。

处理流程

整体的重建索引的处理流程就是，先创建一个临时索引，将原始索引中的数据迁移到临时索引，然后再删除原始索引，重新创建原始索引后，在将临时索引中的数据迁回到重建索引，从而完成索引的重建操作。

创建临时索引

在创建索引之前，我们先看一下原始的 es 索引结构，在 kibana 开发工具命令行页面执行命令

GET crm_meiqia_conversation/_mapping

在这里插入图片描述
这里我需要将字段 convId 的字段类型 改为 text ，那么这个时候我就需要创建一个临时索引 crm_meiqia_conversation_tmp 将字段 convId 的字段类型改为 text ，原始 convId 属性如下图
在这里插入图片描述
整个执行命令代码如下

PUT /crm_meiqia_conversation_tmp
{"mappings" : {"meiqiaConversation" : {"properties" : {"convId" : {"type" : "text"},"enterpriseId" : {"type" : "long"},"devClientId" : {"type" : "text"},"pageFromUrl" : {"type" : "text"},"pageLandUrl" : {"type" : "text"},"pageLandTitle" : {"type" : "text"},"pageConvUrl" : {"type" : "text"},"pageConvTitle" : {"type" : "text"},"searchEngineName" : {"type" : "text"},"searchEngineKw" : {"type" : "text"},"visitorIp" : {"type" : "text"},"visitorLocation" : {"type" : "text"},"visitorOs" : {"type" : "text"},"visitorBrowser" : {"type" : "text"},"visitorTags" : {"type" : "text"},"clientId" : {"type" : "long"},"agentAccount" : {"type" : "text"},"agentName" : {"type" : "text"},"agentId" : {"type" : "text"},"agentNickName" : {"type" : "text"},"groupId" : {"type" : "long"},"groupName" : {"type" : "text"},"convStartTm" : {"type" : "long"},"convStartDate" : {"type" : "date"},"convEndTm" : {"type" : "long"},"convEndDate" : {"type" : "date"},"convFirstRespWaitInSecs" : {"type" : "long"},"convAgentMsgCount" : {"type" : "long"},"convVisitorMsgCount" : {"type" : "long"},"convQualityGrade" : {"type" : "text"},"convLeads" : {"type" : "text"},"commentLevel" : {"type" : "long"},"commentContent" : {"type" : "text"},"platform" : {"type" : "text"},"summaryContent" : {"type" : "text"},"summaryUpdateAt" : {"type" : "text"},"sourceType" : {"type" : "text"},"sourceField" : {"type" : "text"},"agentRespDuration" : {"type" : "long"},"effective" : {"type" : "text"},"missed" : {"type" : "text"},"converseDuration" : {"type" : "long"},"appName" : {"type" : "text"},"mainChannel" : {"type" : "text"},"mainChannelName" : {"type" : "text"},"subChannel" : {"type" : "text"},"subChannelName" : {"type" : "text"},"searchEngine" : {"type" : "text"},"clientInfo" : {"properties" : {"address" : {"type" : "text"},"age" : {"type" : "long"},"channelName" : {"type" : "text"},"comment" : {"type" : "text"},"contact" : {"type" : "text"},"convId" : {"type" : "long"},"email" : {"type" : "text"},"enterpriseId" : {"type" : "long"},"followSource" : {"type" : "text"},"gender" : {"type" : "text"},"infoId" : {"type" : "long"},"jijiaoCity" : {"type" : "text"},"jijiaoDistrict" : {"type" : "text"},"jijiaoLevel" : {"type" : "text"},"jijiaoProvince" : {"type" : "text"},"mTrackId" : {"type" : "text"},"name" : {"type" : "text"},"openid" : {"type" : "text"},"qq" : {"type" : "text"},"sourceName" : {"type" : "text"},"tel" : {"type" : "text"},"trackId" : {"type" : "text"},"uid" : {"type" : "text"},"vid" : {"type" : "text"},"visitorName" : {"type" : "text"},"weibo" : {"type" : "text"},"weixin" : {"type" : "text"},"appChannel" : {"type" : "text"}}},"convContent" : {"properties" : {"contentId" : {"type" : "long"},"convId" : {"type" : "long"},"convFrom" : {"type" : "text"},"timestamp" : {"type" : "long"},"content" : {"type" : "text","analyzer":"standard"},"remoteContent" : {"type" : "text"},"convType" : {"type" : "text"}}},"convTag" : {"properties" : {"tagId" : {"type" : "long"},"convId" : {"type" : "long"},"level" : {"type" : "long"},"value" : {"type" : "text"}}}}}},"settings" : {"number_of_shards":2, "number_of_replicas" : 1,"refresh_interval":"1s"}
}

在 kibana 工具页面点击执行按钮
在这里插入图片描述
这里可以看到执行命令报错 400 根据提示信息来看 说明当前 es 中已经存在索引 crm_meiqia_conversation_tmp ，那么执行删除索引命令，删除后再执行刚才创建临时索引命令

DELETE /crm_meiqia_conversation_tmp

在这里插入图片描述
再次执行创建临时索引命令，执行成功
在这里插入图片描述

数据迁移

临时索引创建完成之后，我们就可以将原始索引中的数据先迁移到临时索引中，通过 ES 提供了 _reindex 这个API 进行数据复制迁移，执行命令

POST _reindex
{  "source": {  "index": "crm_meiqia_conversation","size":500},  "dest": {  "index": "crm_meiqia_conversation_tmp"  }
}

或者 异步迁移数据

POST _reindex?wait_for_completion=false
{  "source": {  "index": "crm_meiqia_conversation","size":500},  "dest": {  "index": "crm_meiqia_conversation_tmp"  }}

其中，source 对应的是原始索引，dest 对应的是新建的临时索引，参数 size 表示每次执行的数据量为500 条，循环执行直到数据迁移复制结束。默认情况下， _reindex 使用 1000 进行批量操作，迁移成功如图
在这里插入图片描述
这个时候我们再来看一下原始索引中数据总数 crm_meiqia_conversation 与临时索引 crm_meiqia_conversation_tmp 中数据总数是否一致，执行命令

GET crm_meiqia_conversation/_count
GET crm_meiqia_conversation_tmp/_count

执行结果如图
在这里插入图片描述
在这里插入图片描述
那么这样就完成了数据从原始索引迁移复制到临时索引的操作。

重建索引

这个时候就需要执行命令删除原始索引 crm_meiqia_conversation ，然后按照临时索引的 创建语句 创建新的索引，最后再将临时索引中的数据 迁移复制到 新建的原始索引中去，执行命令

# 删除原始索引
DELETE /crm_meiqia_conversation
# 创建更改字段后的新的原始索引 
PUT /crm_meiqia_conversation
{"mappings" : {"meiqiaConversation" : {"properties" : {"convId" : {"type" : "text"},"enterpriseId" : {"type" : "long"},"devClientId" : {"type" : "text"},"pageFromUrl" : {"type" : "text"},"pageLandUrl" : {"type" : "text"},"pageLandTitle" : {"type" : "text"},"pageConvUrl" : {"type" : "text"},"pageConvTitle" : {"type" : "text"},"searchEngineName" : {"type" : "text"},"searchEngineKw" : {"type" : "text"},"visitorIp" : {"type" : "text"},"visitorLocation" : {"type" : "text"},"visitorOs" : {"type" : "text"},"visitorBrowser" : {"type" : "text"},"visitorTags" : {"type" : "text"},"clientId" : {"type" : "long"},"agentAccount" : {"type" : "text"},"agentName" : {"type" : "text"},"agentId" : {"type" : "text"},"agentNickName" : {"type" : "text"},"groupId" : {"type" : "long"},"groupName" : {"type" : "text"},"convStartTm" : {"type" : "long"},"convStartDate" : {"type" : "date"},"convEndTm" : {"type" : "long"},"convEndDate" : {"type" : "date"},"convFirstRespWaitInSecs" : {"type" : "long"},"convAgentMsgCount" : {"type" : "long"},"convVisitorMsgCount" : {"type" : "long"},"convQualityGrade" : {"type" : "text"},"convLeads" : {"type" : "text"},"commentLevel" : {"type" : "long"},"commentContent" : {"type" : "text"},"platform" : {"type" : "text"},"summaryContent" : {"type" : "text"},"summaryUpdateAt" : {"type" : "text"},"sourceType" : {"type" : "text"},"sourceField" : {"type" : "text"},"agentRespDuration" : {"type" : "long"},"effective" : {"type" : "text"},"missed" : {"type" : "text"},"converseDuration" : {"type" : "long"},"appName" : {"type" : "text"},"mainChannel" : {"type" : "text"},"mainChannelName" : {"type" : "text"},"subChannel" : {"type" : "text"},"subChannelName" : {"type" : "text"},"searchEngine" : {"type" : "text"},"clientInfo" : {"properties" : {"address" : {"type" : "text"},"age" : {"type" : "long"},"channelName" : {"type" : "text"},"comment" : {"type" : "text"},"contact" : {"type" : "text"},"convId" : {"type" : "long"},"email" : {"type" : "text"},"enterpriseId" : {"type" : "long"},"followSource" : {"type" : "text"},"gender" : {"type" : "text"},"infoId" : {"type" : "long"},"jijiaoCity" : {"type" : "text"},"jijiaoDistrict" : {"type" : "text"},"jijiaoLevel" : {"type" : "text"},"jijiaoProvince" : {"type" : "text"},"mTrackId" : {"type" : "text"},"name" : {"type" : "text"},"openid" : {"type" : "text"},"qq" : {"type" : "text"},"sourceName" : {"type" : "text"},"tel" : {"type" : "text"},"trackId" : {"type" : "text"},"uid" : {"type" : "text"},"vid" : {"type" : "text"},"visitorName" : {"type" : "text"},"weibo" : {"type" : "text"},"weixin" : {"type" : "text"},"appChannel" : {"type" : "text"}}},"convContent" : {"properties" : {"contentId" : {"type" : "long"},"convId" : {"type" : "long"},"convFrom" : {"type" : "text"},"timestamp" : {"type" : "long"},"content" : {"type" : "text","analyzer":"standard"},"remoteContent" : {"type" : "text"},"convType" : {"type" : "text"}}},"convTag" : {"properties" : {"tagId" : {"type" : "long"},"convId" : {"type" : "long"},"level" : {"type" : "long"},"value" : {"type" : "text"}}}}}},"settings" : {"number_of_shards":2, "number_of_replicas" : 1,"refresh_interval":"1s"}
}
# 迁移复制数据 临时索引》》》新的原始索引
POST _reindex
{  "source": {  "index": "crm_meiqia_conversation_tmp","size":500},  "dest": {  "index": "crm_meiqia_conversation"  }
}

最后执行成功后，完成本次关于 索引 crm_meiqia_conversation 的更改字段属性 的操作
在这里插入图片描述

写在最后

其实对于 es 更改索引字段的操作，确实比较费劲，需要先创建临时索引，转移复制数据后，删除原始索引，再创建新的索引，并把临时索引的数据再迁移回新的索引中。所以在创建 es 索引之处就需要综合考量，将字段的属性设计以及索引结构设计做到准确，防止后续出现这样的情况比较费劲。另外如果待迁移索引的数据量比较大的话，来回迁移数据除了耗时以外，还会需要一个较大的磁盘空间才能完成操作，不然会报磁盘不足的错误提示的。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/474142.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

vue3 路由写法及传参方式 !超详细

vue3 路由写法及传参方式 !超详细

Vue Router 是 Vue.js 官方的路由管理器。它主要用于单页面应用程序（SPA, Single Page Application）中，帮助解决页面导航、组件复用等问题。 基本的使用 1.router配置文件代码 创建一个ts文件,用来写路由器 // 创建一个路由器,并暴露出去 …
阅读更多...
有限状态机（续）

有限状态机（续）

一、添加刀光和场景 1、资源链接： 武器刀光：https://assetstore.unity.com/packages/tools/particles-effects/melee-weapon-trail-1728 场景：https://assetstore.unity.com/packages/3d/environments/fantasy/casual-tiny-environment-ju…
阅读更多...
内网安全隧道搭建-ngrok-frp-nps-sapp

内网安全隧道搭建-ngrok-frp-nps-sapp

1.ngrok 建立内网主机与公网跳板机的连接： 内网主机为客户机： 下载客户端执行 2.frp
阅读更多...
模电数电，融会贯通

模电数电，融会贯通

模电与数电在传统电子工程中似乎被划分为两大领域，然而，它们实际上是对同一器件的不同应用方法。这种观念有助于我们理解元器件在各种工作状态下的多样性，并在复杂的电路设计中实现更高效的系统集成。 一、三极管的多重身份：放大…
阅读更多...
鸿蒙动画开发07——粒子动画

鸿蒙动画开发07——粒子动画

1、概 述 粒子动画是在一定范围内随机生成的大量粒子产生运动而组成的动画。 动画元素是一个个粒子，这些粒子可以是圆点、图片。我们可以通过对粒子在颜色、透明度、大小、速度、加速度、自旋角度等维度变化做动画，来营造一种氛围感，比如下…
阅读更多...
Java——并发工具类库线程安全问题

Java——并发工具类库线程安全问题

摘要 本文探讨了Java并发工具类库中的线程安全问题，特别是ThreadLocal导致的用户信息错乱异常场景。文章通过一个Spring Boot Web应用程序示例，展示了在Tomcat线程池环境下，ThreadLocal如何因线程重用而导致异常，并讨论了其他并发…
阅读更多...
PostgreSQL技术内幕18：物理备份工具pg_basebackup

PostgreSQL技术内幕18：物理备份工具pg_basebackup

0.简介 PG自带备份工具有多种，pg_basebackup、pg_dump、pg_dumpall，其中pg_basebackup是文件系统级别的备份，其余两种是逻辑备份。本文主要介绍PG备份工具产生的背景和概念，以及对pg_basebackup使用方法和其实现原理进行详细说明…
阅读更多...
基于Python实现的HDR图像处理算法

基于Python实现的HDR图像处理算法

此代码会读取两张图片，一张用于保留高光细节，另一张用于保留暗部细节。两张图片按指定比例进行像素融合，最终生成一张合成的HDR图片。 import cv2 import numpy as npdef hdr_fusion(highlight_img_path, shadow_img_path, output_path, alp…
阅读更多...
计算机网络-理论部分(二)：应用层

计算机网络-理论部分(二)：应用层

网络应用体系结构 Client-Server客户-服务器体系结构：如Web，FTP，Telnet等Peer-Peer：点对点P2P结构，如BitTorrent 应用层协议定义了： 交换的报文类型，请求or响应报文类型的语法字段的含义如何…
阅读更多...
【JavaEE初阶 — 多线程】wait() notify()

【JavaEE初阶 — 多线程】wait() notify()

1. 协调多个线程之间的执行先后顺序的方法介绍 由于线程之间是抢占式执行的，因此线程之间执行的先后顺序难以预知；但是实际开发中，有时候我们希望合理地协调多个线程之间的执行先后顺序。 拓展： wait() 和 sleep() 的区别 …
阅读更多...
Vscode/Code-server无网环境安装通义灵码

Vscode/Code-server无网环境安装通义灵码

Date: 2024-11-18 参考材料：https://help.aliyun.com/zh/lingma/user-guide/individual-edition-login-tongyi-lingma?spma2c4g.11186623.0.i0 1. 首先在vscode/code-server插件市场中安装通义插件，这步就不细说了。如果服务器没网，会问你要…
阅读更多...
Java项目实战II基于Java+Spring Boot+MySQL的共享汽车管理系统(源码+数据库+文档)

Java项目实战II基于Java+Spring Boot+MySQL的共享汽车管理系统(源码+数据库+文档)

目录 一、前言 二、技术介绍 三、系统实现 四、文档参考 五、核心代码 六、源码获取 全栈码农以及毕业设计实战开发，CSDN平台Java领域新星创作者，专注于大学生项目实战开发、讲解和毕业答疑辅导。获取源码联系方式请查看文末 一、前言 在共享经济…
阅读更多...
美赛优秀论文阅读--2023C题

美赛优秀论文阅读--2023C题

文章目录 1.题目说明2.我对于这个题目信息的理解3.优秀论文学习3.1摘要3.2相关的算法模型 4.总结 1.题目说明 今天阅读的这个文章来自于这个2023年的这个美赛的这个C题的论文； 我们的这个题目可以到网上去找，这个还是比较容易找到的，大致就…
阅读更多...
ChromeDriver驱动下载地址更新（保持最新最全）

ChromeDriver驱动下载地址更新（保持最新最全）

说明： ChromeDriver 是 Selenium WebDriver 用于控制 Chrome 的独立可执行文件。 为了方便下载使用，本文保持ChromeDriver的最新版本更新，并提供115.0.5763.0-133.0.6841.0版本的下载地址： 所有版本和下载地址： &am…
阅读更多...
delphi fmx android 离线人脸识别

delphi fmx android 离线人脸识别

搜遍全网都没有找到delphi android 能用的 离线人脸识别，无需注册什么开发者 有这方面需求的可以用fsdk 这边用的luxand.FSDK8.0 android下的注册号要自己找下 1，用老猫的工具将android 下的sdk，FSDK.java 编译成FSDK.jar 老猫的工具 2，用上面的工具将FSDK.jar 生成de…
阅读更多...
【模块一】kubernetes容器编排进阶实战资源对象之Configmap与Secret简介

【模块一】kubernetes容器编排进阶实战资源对象之Configmap与Secret简介

kubernetes 资源对象详解及示例 kubernetes 的几个重要概念 资源对象：kubernetes基于声明式API，和资源对象进行交互。 yaml文件：为了方便后期管理，通过使用yaml文件通过API管理资源对象。 yaml必需字段： apiVersio…
阅读更多...
游戏引擎学习第14天

游戏引擎学习第14天

视频参考:https://www.bilibili.com/video/BV1iNUeYEEj4/ 1. 为什么关注内存管理？ 内存分配是潜在的失败点： 每次进行内存分配（malloc、new等）时，都可能失败（例如内存不足）。这种失败会引入不稳…
阅读更多...
游戏引擎学习第12天

游戏引擎学习第12天

视频参考:https://www.bilibili.com/video/BV1yom9YnEWY 这节没讲什么东西，主要是改了一下音频的代码 后面有介绍一些alloc 和malloc,VirtualAlloc 的东西 _alloca 函数（或 alloca）分配的是栈内存，它的特点是： 生命周…
阅读更多...
django——创建 Django 项目和 APP

django——创建 Django 项目和 APP

2.创建 Django 项目和 APP 命令： 创建Django项目 django-admin startproject name 创建子应用 python manager.py startapp name 2.1 创建工程 在使用Flask框架时，项目工程目录的组织与创建是需要我们自己手动创建完成的。 在django中，…
阅读更多...
OceanBase 分区表详解

OceanBase 分区表详解

1、分区表的定义 在OceanBase数据库中，普通的表数据可以根据预设的规则被分割并存储到不同的数据区块中，同一区块的数据是在一个物理存储上。这样被分区块的表被称为分区表，而其中的每一个独立的数据区块则被称为一个分区。 如下图所示&…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023