一文带你读懂分库分表,分片,Sharding的许多概念

一文带你读懂分库分表,分片,Sharding的许多概念

分库是将一个库拆分为多个库,分表就是将一个表拆分为多个表。分库分表有垂直拆分和水平拆分。垂直拆分一般是按照业务将表分到不同的库中(此种不在本发的讨论范围)。水平拆分是将表的数据拆分到多个表中(此种为本发明的研究对象)。当一个表存的数据太多时,可以将表的数据拆分到多个表中,这些拆分后的表可以在同一个数据库也可以不在同一个数据库,会有:只分表,只分库,和分库分表三种类型,如图1所示。图1所示的分库分表,就是将一个orders表拆分为4个表,orders0、orders1在库ds0, orders2、orders3在库ds1。其中orders0到orders3是实际表/物理表,而0、1、2、3是实际表的下标/后缀;而orders则为基本表(基本表名)。关联表(主表与从表),指存在主外键关系的主表与从表,按照一定的DB设计原则将数据存放到两张表中。如:orders,orders_item; users,users_item;它们一般都是有外键关系(未必使用外键约束)。此外,还有不需要分片的,只存在一个库中的表,为原始表/未分片表,因为并不是所有的表都是要分片的;广播表指所有的分片数据库中都存在的表(同一广播表,在每个节点都有一个,且数据也一样),表结构及其数据在每个数据库中均完全一致。 适用于数据量不大且需要与海量数据的表进行关联查询的场景,例如:字典表。分片键,即用来寻找到对应库和表的表中字段;分片键包括分库键和分表键分库键,指表的字段中,使用其值,按一定算法找到唯一数据库的字段。如,orders订单表中,userid(用户id),可以作为分库键。分表键指表的字段中,使用其值,按一定算法找到唯一实际表的字段。比如orders订单表中,userid(用户id),可以作为分表键。数据节点为数据分片的最小单元,由数据源名称和实际表组成,如:ds1.orders1。完整的数据结点(fullNodes),指某一基本表所涉及的所有数据库和对应的实际表。数据源(ds)是指配置了数据库url,用户名,密码等信息的源,在Java中是指javax.sql.DataSource。数据源与数据库对应,在不引起混淆的情况下,可以将该两个名词视为同义词。路由到的库与表种类即分库分表种类或分片种类,根据分片键找到的库与表的个数,分为:一库一表、一库多表、多库多表、全库全表分片指分库分表,并通过一定的方法找到或操作所要的数据。分片的框架或装置,要让使用者在有分片的情况下,操作的数据与未分片时,感觉是一样的;当然打印的日志,可以提示有哪个节点执行了什么操作。

Bee, 一个具有分片功能的ORM框架,简单易用,功能强大.

除了分片配置信息,分片对使用者透明,系统是否分片,对使用者来说无需增加过多额外成本,掌握配置规则即可使用。进行分片升级,对原有系统更改小,引用接口模块的接口不需要调整。分片时,执行的sql语句与未分片时对比,差别小。分片的sql语句,易于在数据库客户端工具中进行格式化。分片节点结构变动后,可以不转移旧的数据。

一个表的分片配置信息,只需要一行:
 

ShardingConfig.addShardingBean(Orders.class,new ShardingBean("ds[0..1].orders[0..3]", "orderid"));

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/433678.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

HEITRONICS TC13红外辐射高温计CT13 INFRARED RADIATION PYROMETER CT13

HEITRONICS TC13红外辐射高温计CT13 INFRARED RADIATION PYROMETER CT13

华为玄玑感知系统震撼发布:智能穿戴新品引领情绪健康新纪元

在科技日新月异的今天,华为再次以其卓越的创新能力,为智能穿戴领域带来了一场革命性的变革。 8月28日,华为玄玑感知系统暨穿戴创新技术发布会圆满落幕,会上正式揭晓了这款名为“玄玑”的神秘感知系统,预示着穿戴设备将…

.netcore nacos注册成功,服务列表找不到任何服务

命令空间id不要自动生成 .netcore 配置文件里,Namespace 配置命名空间id 而不是命名空间名称。

宠物空气净化器希喂和352哪个好用?两大爆火机型哪款吸毛、除臭效果比较好?

猫毛、狗毛、鹦鹉毛,总之只要家里养着有带毛的宠物,毛就会出现在各种地方,床上、沙发上、衣服上、水杯里...根本躲不开。而且,除了肉眼可见的,呼吸时、说话时,不经意间还会吃到毛毛。这些毛毛飘在空气里时&…

动手学LLM(ch2)

2.1 理解词嵌入 深度神经网络模型,包括大型语言模型(LLMs),无法直接处理原始文本,因为文本是分类数据,与神经网络的数学运算不兼容。为了达到这个目的,需要将单词转换为连续值向量。记住一句话…

17【Protues单片机仿真】基于51单片机的太阳能智能谷物翻晒机器人

目录 一、主要功能 二、硬件资源 三、程序编程 四、实现现象 一、主要功能 基于51单片机,避障,低于50CM报警,LED灯亮起,自动翻晒用光敏电阻,光照强度大,电机转动,相当于翻晒粮食&#xff0…

Linux——pod的调度

pod的调度 控制器: rc/rs 副本数量控制器 主要保证pod的数量符合管理员要求,并不会对pod进行额外的管理 以下三种控制器,本质上是服务控制器。具备以下特性: 副本数量的控制服务的滚动更新(更新pod)支持更新失…

高校教师成果管理小程序的设计与实现springboot(lw+演示+源码+运行)

摘 要 互联网发展至今,无论是其理论还是技术都已经成熟,而且它广泛参与在社会中的方方面面。它让信息都可以通过网络传播,搭配信息管理工具可以很好地为人们提供服务。针对高校教师成果信息管理混乱,出错率高,信息安全…

C++ STL初阶(14): map和set

1.关联式容器与键值对 前导文章:C 二叉树进阶-CSDN博客 之前我们学习的线性的容器,如:vector deque list等都叫作序列式容器 与之对立的概念是关联式容器 关联式容器 也是用来存储数据的,与序列式容器不同的是,其 里面…

【C++】检测TCP链接超时——时间轮组件设计

目录 引言 时间轮思想 设计的核心思路 完整代码 组件接口 个人主页:东洛的克莱斯韦克-CSDN博客 引言 对于高并发的服务器来说,链接是一种比较珍贵的资源,对不活跃的链接应该及时释放。判断连接是否活跃的策略是——在给定的时间内&#…

Redis中BigKey与MoreKey优化笔记

1.MoreKey 在Redis中,MoreKey问题通常指的是当数据库中的key数量非常多时,使用如KEYS *这样的命令去检索所有的key,这会导致Redis服务阻塞,影响正常业务。因为Redis是单线程操作的,执行这类命令时会占用大量时间&…

Arthas redefine(加载外部的.class文件,redefine到JVM里 )

文章目录 二、命令列表2.2 class/classloader相关命令2.2.3 redefine(加载外部的.class文件,redefine到JVM里 )举例1:加载新的代码,jad/mc 命令使用举例2:上传 .class 文件到服务器的技巧 二、命令列表 2.…

柯桥韩语学校|韩语每日一词打卡:회갑연[회가변]【名词】花甲宴

今日一词:회갑연 韩语每日一词打卡:회갑연[회가변]【名词】花甲宴 原文:인구 노령화에 따라서 요즘 회갑연보다는 고희연을 더 많이 지냅니다. 意思:随着人口老龄化,最近比起花甲宴,更多人办古稀宴。 【原文分解】 1、인구[인구]…

【BurpSuite】访问控制漏洞和权限提升 | Access control vulnerabilities (3-6)

🏘️个人主页: 点燃银河尽头的篝火(●’◡’●) 如果文章有帮到你的话记得点赞👍收藏💗支持一下哦 【BurpSuite】访问控制漏洞和权限提升 | Access control vulnerabilities (3-6) 实验三 Lab: User role controlled b…

【IoT-NTN】系统消息SIB31信令分析

3GPP卫星通信发展迅速, TS36.331 R17中新增SIB31携带星历信息,本文对SIB31的信令内容进行了分析。 SystemInformationBlockType31 分析报告 一、概述 本文档详细描述了SystemInformationBlockType31(简称SIB31)的结构和内容&am…

[Redis][集群][上]详细讲解

目录 0.前言1.基本概念2.数据分片算法0.前言1.哈希求余2.一致性哈希算法3.哈希槽分区算法(Redis使用) 0.前言 说明:该章节相关操作不需要记忆,理解流程和原理即可,用的时候能自主查到即可 1.基本概念 哨兵模式提高了系统的可用性&#xff0…

试用Debian12.7和Ubuntu24.4小札

Debian GNU/Linux 12 (bookworm)和Ubuntu 24.04.1 LTS是现阶段(2024年9月26日)两个发行版的最新版本。Ubuntu Server版本默认就不带桌面(ubuntu-24.04-live-server-amd64.iso),这个默认就是最小化安装(安装…

Moshi: a speech-text foundation model for real time dialogue

视频号 挺神奇的东西 整下来 kyutai-labs/moshi (github.com) git clone https://github.com/kyutai-labs/moshi.git 在线体验 moshi.chat 结束后 点击Download audio Download video 可以下载音频与视频 (不过是webm格式) 发行版 已上传至资源 小…

springboot+大数据基于数据挖掘的招聘信息可视化大屏系统【内含源码+文档+部署教程】

博主介绍:✌全网粉丝10W,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业毕业设计项目实战6年之久,选择我们就是选择放心、选择安心毕业✌ 🍅由于篇幅限制,想要获取完整文章或者源码,或者代做&am…

【C++】 vector 迭代器失效问题

【C】 vector 迭代器失效问题 一. 迭代器失效问题分析二. 对于vector可能会导致其迭代器失效的操作有:1. 会引起其底层空间改变的操作,都有可能是迭代器失效2. 指定位置元素的删除操作--erase3. Linux下,g编译器对迭代器失效的检测并不是非常…