20250214 随笔 Elasticsearch(ES)索引数据 vs. 业务数据库冗余双写

Elasticsearch(ES)索引数据 vs. 业务数据库冗余双写的区别、优缺点分析

在高并发数据查询场景下,Elasticsearch(ES)业务数据库冗余双写 都是常见的数据同步方案。它们主要区别在于数据存储方式、查询性能、数据一致性和运维复杂度


1. ES 与 冗余双写的核心区别

对比点Elasticsearch(ES)索引方案业务数据库冗余双写
核心理念数据存入数据库,同时索引到 ES,用于高性能搜索在数据库表之间冗余存储相同数据,减少查询 JOIN 依赖
存储方式数据库(持久化)+ ES(搜索引擎)数据库表内部冗余存储
查询性能适用于复杂查询、模糊匹配、全文检索,速度快适用于结构化数据查询、关系型查询
数据一致性最终一致性(可能会有延迟)事务保证强一致性
适用场景搜索、日志分析、推荐系统、全文检索业务数据表避免 JOIN,提升查询性能

2. 方案一:使用 Elasticsearch(ES)索引数据

✅ 优势

  1. 高效搜索

    • ES 采用倒排索引,擅长 模糊查询、全文检索、复杂过滤、聚合分析
    • 比数据库 LIKE 查询快很多(数据库 LIKE %xxx% 查询效率低)。
  2. 查询速度快,支持大规模数据量

    • 适合海量数据查询,大数据场景(日志系统、推荐系统等)。
    • 支持高并发查询,而数据库查询在高并发下压力大。
  3. 支持复杂查询

    • 适用于 全文检索、模糊查询、聚合计算,而数据库不擅长这些操作。

❌ 缺点

  1. 数据一致性问题(最终一致性)

    • 数据库和 ES 可能不同步,因为数据存入数据库后需要同步到 ES,可能会有延迟数据丢失(同步失败)。
    • 写入不保证事务一致性,可能导致查询结果和数据库数据不一致。
  2. 运维成本高

    • ES 需要额外的服务器资源,包括 CPU、内存、磁盘(ES 需要 SSD 磁盘)。
    • 需要维护索引结构,数据量大时可能需要索引优化
  3. ES 需要定期重建索引

    • 如果数据变化频繁,ES 索引会碎片化,需要重新索引优化查询效率。

3. 方案二:业务数据库冗余双写

✅ 优势

  1. 事务一致性

    • 数据库保证强一致性,冗余数据和原数据同步写入,不会有数据不同步问题。
  2. 无额外系统依赖

    • 不需要额外的搜索引擎(如 ES),数据库内完成查询。
    • 运维简单,不需要维护 ES。
  3. 查询优化

    • 避免跨表 JOIN 查询,提高数据库查询性能。例如:
      • 订单表 (orders) 可能冗余存储用户昵称 (user_name),避免关联 users 表查询。

❌ 缺点

  1. 数据冗余,占用存储

    • 同一份数据可能存入多个表,增加存储开销
    • 需要定期清理、更新冗余字段,否则可能带来数据同步压力。
  2. 数据库写入性能下降

    • 双写增加了写入压力,每次更新数据时,需要更新多个表
    • 如果更新涉及多个冗余字段,会导致 UPDATE 操作增多,影响性能。
  3. 不支持复杂查询(如全文检索)

    • 不适合模糊搜索、全文检索、复杂过滤,这些场景ES 更擅长

4. 使用 ES 还是 冗余双写?如何选择?

场景推荐方案原因
模糊查询、全文检索ESES 支持倒排索引,查询速度快,LIKE 查询在数据库中效率低
高并发查询ESES 支持分布式查询,适合大数据查询
数据库 JOIN 查询性能低冗余双写避免跨表 JOIN,减少查询压力
实时性要求高,数据不能不同步冗余双写数据强一致性
日志分析、推荐系统、报表ES适合大规模数据计算
数据库运维成本低,避免额外服务冗余双写只需数据库,不需要额外搜索引擎

5. 混合方案(ES + 冗余双写)

💡 实际业务中,我们通常会结合 ES 和数据库冗余双写,让两者互补!

  1. 查询使用 ES,加速搜索
    • 业务查询走 ES,提高查询效率。
  2. 核心业务数据用数据库(保证事务)
    • 订单、支付等核心数据仍存数据库,保持一致性。
  3. ES 和数据库保持同步
    • 通过 Flink + KafkaBinlog 监听,将数据库变更数据同步到 ES。

6. 结论

  • Elasticsearch 适用于全文搜索、模糊查询、高并发读,但有数据同步问题。
  • 业务数据库冗余双写适用于减少数据库 JOIN,提高事务一致性,但存储冗余、写入性能下降。
  • 混合方案(ES + 数据库)适用于大多数企业应用,利用 ES 提升搜索性能,同时数据库保证事务一致性。

💡 如果你的业务涉及搜索优化,建议引入 ES;如果是高并发结构化数据查询,可以优先考虑数据库冗余双写! 🚀

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/20325.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

对称加密算法——IDEA加密算法

Java IDEA算法详解 1. 理论背景 IDEA(International Data Encryption Algorithm)是一种对称密钥加密算法,由Xuejia Lai和James Massey于1991年提出。它被设计用于替代DES(Data Encryption Standard)算法,…

Jenkins 给任务分配 节点(Node)、设置工作空间目录

Jenkins 给任务分配 节点(Node)、设置工作空间目录 创建 Freestyle project 类型 任务 任务配置 Node 打开任务-> Configure-> General 勾选 Restrict where this project can be run Label Expression 填写一个 Node 的 Label,输入有效的 Label名字&#x…

20250217 随笔 redis非原子性操作简述

从你提供的文本来看,核心是 Redis 作为缓存的检查机制,以及非原子性操作导致的不一致性问题。 我们可以拆解为两个部分来理解: 📌 1. 逻辑:先查 Redis,再决定是否注册 逻辑流程 先查询 Redis 是否有某个 …

SVM对偶问题

1、对偶问题数学基础 对偶问题:在线性规划中,每一个线性规划问题(称为原问题)都有一个与之对应的对偶问题。从数学形式上看,如果原问题是求解一个线性目标函数的最大值(或最小值),在满足一系列线性不等式&…

CSDN、markdown环境下如何插入各种图(流程图,时序图,甘特图)

流程图 横向流程图 mermaid graph LRA[方形] --> B{条件a}B -->|满足| C(圆角)B -->|不满足| D(圆角)C --> E[输出结果1]D --> E效果图: 竖向流程图 mermaid graph TDC{条件a} --> |a1| A[方形]C --> |a2| F[竖向流程图]A --> B(圆角)B …

MSI微星电脑冲锋坦克Pro Vector GP76 12UGS(MS-17K4)原厂Win11系统恢复镜像,含还原功能,预装OEM系统下载

适用机型:【MS-17K4】 链接:https://pan.baidu.com/s/1P8ZgXc6S_J9DI8RToRd0dQ?pwdqrf1 提取码:qrf1 微星笔记本原装出厂WINDOWS11系统自带所有驱动、出厂主题壁纸、系统属性专属联机支持标志、Office办公软件、MSI Center控制中心等预装…

MySQL 之INDEX 索引(Index Index of MySQL)

MySQL 之INDEX 索引 1.4 INDEX 索引 1.4.1 索引介绍 索引:是排序的快速查找的特殊数据结构,定义作为查找条件的字段上,又称为键 key,索引通过存储引擎实现。 优点 大大加快数据的检索速度; 创建唯一性索引,保证数…

Ubuntu18.04安装rvm、ruby2.6.5和rails5.2.6

系统环境:Ubuntu 18.04 一、安装前准备 1. sudo apt update 2. sudo apt upgrade 如果提示abort,忽略。 3. sudo apt install sqlite3 gnupg curl git libpq-dev 二、安装rvm ruby版本管理器 1.切换管理员模式 sudo su 2.安装软件签名公钥 gpg…

【WPS+VBA】表格中重复表头与页码的批量删除

向豆包对话可以死磕的,以前问问题我只是根据第一条给出的答案使用。AI还有个优点,不会烦你,只要有问题就接着问,一直问到解决好问题。小编对豆包的连环提问,最终解决了批量删表头页面的问题。 1、豆包对话过程 开始问…

[Windows] Win7也能控制安卓手机屏幕(手机镜像投屏):scrcpy

Win7也能控制安卓手机屏幕(手机镜像投屏):scrcpy 链接:https://pan.xunlei.com/s/VOJGlhQkX9mNqCYsM2cMbYxsA1?pwdm9wq# 系统平台:Windows 7/10/11 (Win7系统需打开“Win7”文件夹进行操作) …

Windows 环境下 Prometheus 安装指南

目录 确认系统环境 下载 Prometheus 解压安装包 配置 Prometheus 启动 Prometheus 访问 Prometheus Web 界面 确认系统环境 确保你的 Windows 系统满足 Prometheus 的运行要求(推荐 Windows 10 或更高版本)。 下载 Prometheus 打开 Prometheus 官…

使用Linux创作第一个小程序--进度条

Linux第一个小程序 - 进度条 储备知识 1.回车换行 回车概念 \r 换行概念 \n 2.缓冲区 sleep 先执行1 后执行2(c语言中是按顺序执行的) 那么在我sleep期间,“Hello World”一定是被保存起来了(缓冲区)。 缓冲区&a…

工业制造能耗管理新突破,漫途MTIC-ECM平台助力企业绿色转型!

在工业制造领域,能源消耗一直是企业运营成本的重要组成部分。随着“双碳”目标的推进,如何实现高效能耗管理,成为制造企业亟待解决的问题。漫途MTIC-ECM能源能耗在线监测平台,结合其自研的硬件产品,为工业制造企业提供…

DFS算法篇:理解递归,熟悉递归,成为递归

1.DFS原理 那么dfs就是大家熟知的一个深度优先搜索,那么听起来很高大尚的一个名字,但是实际上dfs的本质就是一个递归,而且是一个带路径的递归,那么递归大家一定很熟悉了,大学c语言课程里面就介绍过递归,我…

【Java学习】继承

一、继承 子类继承父类,子类这个类变量的引用在原有的指向子类自己类变量空间的原有访问权限上,增加上了父类类变量空间的访问权限,此时子类类变量指向的空间变为了原来子类类变量空间加上父类类变量空间,此时子类类变量空间就变成…

ChatGLM

ChatGLM 实现思想模型结构配置迭代版本 ChatGLM-6B : 清华大学的一个开源、支持中英双语的对话语言模型,基于 General Language Model(GLM)架构,具有 62 亿参数 特点 : 优点 : INT4下,只要 6GB 显存 ; ChatGLM2-6B 序…

网页制作02-html,css,javascript初认识のhtml的文字与段落标记

用一首李白的将进酒,对文字与段落标记进行一个简单的介绍演示: 目录 一、标题字 1、标题字标记h 2、标题字对其属性align 二、文本基本标记 1、字体属性face 2、字号属性size 3、颜色属性 Color 三、文本格式化标记 1、粗体标记 b ,strong 2、…

Vue响应式原理实现总结(数据劫持Object.defineProperty/Proxy+发布订阅者设计模式)

Vue的响应式主要分为数据劫持和发布订阅模式。Vue2用的是Object.defineProperty,而Vue3改用Proxy。数据劫持就是在访问或修改对象属性时进行拦截,然后触发相应的更新。发布订阅模式则是用来收集依赖(比如视图更新函数),当数据变化时通知这些依赖执行。 总结一下,关键点包…

Opencv项目实战:26 信用卡号码识别与类型判定

项目介绍 在日常生活中,信用卡的使用越来越普遍。本项目的主要目标是通过图像处理技术自动识别信用卡号码,并根据信用卡号码的第一个数字判定信用卡的类型(如Visa、MasterCard等)。项目结合了图像预处理、轮廓检测、模板匹配等技…

伯克利 CS61A 课堂笔记 10 —— Trees

本系列为加州伯克利大学著名 Python 基础课程 CS61A 的课堂笔记整理,全英文内容,文末附词汇解释。 目录 01 Trees 树 Ⅰ Tree Abstraction Ⅱ Implementing the Tree Abstraction 02 Tree Processing 建树过程 Ⅰ Fibonacci tree Ⅱ Tree Process…