MongoDB分片集群搭建

----前言

mongodb分片

一般用得比较少,需要较多的服务器,还有三种的角色

一般把mongodb的副本集应用得好就足够用了,可搭建多套mongodb复本集

mongodb分片技术

mongodb副本集可以解决数据备份、读性能的问题,但由于mongodb副本集是每份数据都一模一样的,无法解决数据量过大问题

mongodb分片技术能够把数据分成两份存储,假如shijiange.myuser里面有1亿条数据,分片能够实现5千万左右存储在data1,5千万左右存储在data2

data1、data2需要使用副本集的形式,预防数据丢失

mongodb分片集群三种角色介绍

router角色        #mongodb的路由,提供入口,使得分片集群对外透明。router不存储数据

configsvr角色        #mongodb的配置角色,存储元数据信息。分片集群后端有多份存储,读取数据该去哪个存储上读取,依赖于配置角色。配置角色建议使用副本集

shardsvr角色        #mongodb的存储角色,存储真正的数据,建议使用副本集

依赖关系

当用户通过router角色插入数据时,需要从configsvr知道这份数据插入到哪个节点,然后执行插入动作插入数据到sharedsvr

当用户通过router角色获取数据时,需要从configsvr知道这份数据是存储在哪个节点,然后再去sharedsvr获取数据

mongodb分片集群的搭建说明

使用同一份mongodb二进制文件

修改对应的配置就能实现分片集群的搭建

--第一步,分片集群搭建-configsvr

mongodb分片集群实战环境搭建说明

configsvr        #使用28017,28018,28019三个端口来搭建

router                    #使用27017,27018,27019三个端口来搭建

shardsvr        #使用29017,29018,29019,29020四个端口来搭建,两个端口一个集群,生产环境肯定是要三个端口

资源有限,就三台服务器,我的分配情况是

mongodb配置角色的搭建,配置文件路径/data/mongodb-fenpiancluster/28017,另外两节点改下路径、端口、IP

systemLog:

  destination: file

  logAppend: true

  path: /data/mongodb-fenpiancluster/28017/mongodb.log

storage:

  dbPath: /data/mongodb-fenpiancluster/28017

  journal:

    enabled: true

processManagement:

  fork: true

net:

  port: 28017

  bindIp: 127.0.0.1,192.167.100.181

replication:

  replSetName: zmhconf

sharding:

  clusterRole: configsvr

mongodb配置服务集群的启动跟单例的启动方式一致,都是使用mongod

分片集群的配置角色副本集搭建

config = { _id:"zmhconf",

  configsvr: true,

  members:[

    {_id:0,host:"192.167.100.181:28017"},

    {_id:1,host:"192.167.100.182:28018"},

    {_id:2,host:"192.167.100.183:28019"}

  ]

}

rs.initiate(config)

验证是否搭建成功

/usr/local/mongodb/bin/mongo 192.167.100.181:28017

rs.status()

--第二步,分片集群搭建-router

router说明

mongodb中的router角色只负责提供一个入口,不存储任何的数据

router角色的搭建,配置文件/data/mongodb-fenpiancluster/27017/mongodb.conf

systemLog:

  destination: file

  logAppend: true

  path: /data/mongodb-fenpiancluster/27017/mongodb.log

processManagement:

  fork: true

net:

  port: 27017

  bindIp: 192.167.100.181

sharding:

  configDB: zmhconf/192.167.100.181:28017,192.167.100.182:28018,192.167.100.183:28019

router最重要的配置

指定configsvr的地址,使用副本集id+ip端口的方式指定

配置多个router,任何一个都能正常的获取数据

router的启动

     /usr/local/mongodb/bin/mongos -f /data/mongodb-fenpiancluster/27017/mongodb.conf

/usr/local/mongodb/bin/mongos -f /data/mongodb-fenpiancluster/27018/mongodb.conf

/usr/local/mongodb/bin/mongos -f /data/mongodb-fenpiancluster/27019/mongodb.conf

router的验证

需要等到数据角色搭建完才能够进行验证

--第三步,分片集群搭建-sharedsvr

数据角色

分片集群的数据角色里面存储着真正的数据,所以数据角色一定得使用副本集

多个数据角色

mongodb的数据角色搭建,配置文件/data/mongodb-fenpiancluster/29017/mongodb.conf,另外三台也这么写,由于资源不足,把zmhdata2的副本集都放在了192.167.100.183上。

systemLog:

  destination: file

  logAppend: true

  path: /data/mongodb-fenpiancluster/29017/mongodb.log

storage:

  dbPath: /data/mongodb-fenpiancluster/29017

  journal:

    enabled: true

processManagement:

  fork: true

net:

  port: 29017

  bindIp: 192.167.100.181

replication:

  replSetName: zmhdata1

sharding:

  clusterRole: shardsvr

systemLog:

  destination: file

  logAppend: true

  path: /data/mongodb-fenpiancluster/29019/mongodb.log

storage:

  dbPath: /data/mongodb-fenpiancluster/29019

  journal:

    enabled: true

processManagement:

  fork: true

net:

  port: 29019

  bindIp: 192.167.100.183

replication:

  replSetName: zmhdata2

sharding:

  clusterRole: shardsvr

数据服务两个集群说明

29017、29018数据角色zmhdata1

29019、29020数据角色zmhdata2

在各自节点分别启动四个数据实例

/usr/local/mongodb/bin/mongod -f /data/mongodb-fenpiancluster/29017/mongodb.log

/usr/local/mongodb/bin/mongod -f /data/mongodb-fenpiancluster/29018/mongodb.log

/usr/local/mongodb/bin/mongod -f /data/mongodb-fenpiancluster/29019/mongodb.log

/usr/local/mongodb/bin/mongod -f /data/mongodb-fenpiancluster/29020/mongodb.log

在各自副本集的节点上写入节点信息(任意找一个副本集内的节点操作):

数据角色zmhdata1

config = { _id:"zmhdata1",

  members:[

    {_id:0,host:"192.167.100.181:29017"},

    {_id:1,host:"192.167.100.182:29018"}

  ]

}

rs.initiate(config)

数据角色zmhdata2

config = { _id:"zmhdata2",

  members:[

    {_id:0,host:"192.167.100.183:29019"},

    {_id:1,host:"192.167.100.183:29020"}

  ]

}

rs.initiate(config)

--第四步,分片集群添加数据节点

分片集群添加数据角色,连接到路由角色里面配置,数据角色为副本集的方式

/usr/local/mongodb/bin/mongo 192.167.100.181:27017         

sh.addShard("zmhdata1/192.167.100.181:29017,192.167.100.182:29018")

sh.addShard("zmhdata2/192.167.100.183:29019,192.167.100.183:29020")

sh.status()

默认添加数据没有分片存储,操作都是在路由角色里面

use shijiange

for(i=1; i<=500;i++){

  db.myuser.insert( {name:'mytest'+i, age:i} )

}

db.dropDatabase()        #验证完后删除

经验证发现,新建的数据会随机分配到一个分片中,而不会均分到所有分片。

针对某个数据库的某个表使用hash分片存储,分片存储就会同一个colloection分配两个数据角色(MongoDB的分片是基于集合的,就算有分片集群不等于数据会自动分片,需要实现分片表首先需要启用数据库分片

use admin

db.runCommand( { enablesharding :"shijiange"});

db.runCommand( { shardcollection : "shijiange.myuser",key : {_id: "hashed"} } )

或者也可以这样的语句来启用分片:

 mongos> sh.enableSharding("shijiange")

 mongos> sh.shardCollection("shijiange.myuser",{_id: "hashed"});

插入数据校验,分布在两个数据角色上

use shijiange

for(i=1; i<=500;i++){

  db.myuser.insert( {name:'mytest'+i, age:i} )

}

配置角色如果挂掉一台会不会有影响

验证mongos多个入口是否能够正常使用

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/192752.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ai语音电销机器人电销行业要怎么降低封号率?

工信部对电话营销电话的管控越来越严格&#xff0c;企业电销行业的发展受到了很多限制&#xff0c;因为电话销售人员在进行销售工作的时候&#xff0c;经常会因为各种原因触发封号机制&#xff0c;导致手机卡号被封&#xff0c;那企业电销行业要怎么降低封号率&#xff1f; 很多…

应届裁员,天胡开局——谈谈我的前端一年经历

应届裁员&#xff0c;天胡开局——谈谈我的前端一年经历 许久没有更新了&#xff0c;最近一个月都在忙&#xff0c;没错&#xff0c;正如题目所说&#xff0c;裁员然后找工作… 这周刚重新上班&#xff0c;工作第二天&#xff0c;感慨良多&#xff0c;记录些什么吧。 去年十…

普通测径仪升级的智能测径仪 增添11大实用功能!

普通测径仪能对各种钢材进行非接触式的外径及椭圆度在线检测&#xff0c;测量数据准确且无损&#xff0c;可测、监测、超差提示、系统分析等。在此基础上&#xff0c;为测径仪进行了进一步升级制成智能测径仪&#xff0c;为其增添更多智能化模块&#xff0c;让其使用更加方便。…

PHP 论文发表管理系统mysql数据库web结构layUI布局apache计算机软件工程网页wamp

一、源码特点 PHP 论文发表管理系统是一套完善的web设计系统mysql数据库 &#xff0c;对理解php编程开发语言有帮助&#xff0c;系统具有完整的源代码和数据库&#xff0c;系统主要采用B/S模式开发。 php 论文发表系统1 代码 https://download.csdn.net/download/qq_412213…

Vim + YCM + clangd

目录 1. Vim的安装 1.1 Vim安装vim-plug2. 安装YCM3. 进行语言补全配置 3.1 测试效果 1. 目的&#xff1a;让 Vim 像 C/C IDE 一样具备自动补全代码等功能 2. YCM&#xff1a;YouCompleteMe GitHub - ycm-core/YouCompleteMe: A code-completion engine for Vi…

德迅云安全为您介绍关于抗D盾的一些事

抗D盾概述&#xff1a; 抗D盾是新一代的智能分布式云接入系统&#xff0c;接入节点采用多机房集群部署模式&#xff0c;隐藏真实服务器IP&#xff0c;类似于网站CDN的节点接入&#xff0c;但是“抗D盾”是比CDN应用范围更广的接入方式&#xff0c;适合任何TCP 端类应用包括&am…

04-学成在线之系统管理服务模块之查询数据字典表中的内容,前后端联调测试

前后端联调 配置前端环境 实际开发中先由后端工程师将接口设计好并编写接口文档并交给前端工程师&#xff0c;前后端的工程师就开始并行开发 前端开发人员先自己mock数据即使用假数据进行开发,当后端代码完成后前端工程师尝试请求后端接口获取数据然后渲染到页面 第一步: 首…

Vue事件绑定

目录 前言 Vue事件处理 指令的语法格式 事件绑定指令—v-on 回调函数 前言 我们知道如何在原生js中实现事件绑定&#xff0c;那在vue中如何实现呢&#xff1f; Vue事件处理 指令的语法格式 <标签 v-指令名&#xff1a;参数名"表达式">{{插值语法}}</…

图识单链表

CSDN主页&#xff1a;醋溜马桶圈_C语言进阶,初始C语言,数据结构-CSDN博客 Gitee主页&#xff1a;mnxcc (mnxcc) - Gitee.com 专栏&#xff1a;数据结构_醋溜马桶圈的博客-CSDN博客 我们之前学习了顺序表的有关知识&#xff0c;顺序表存在下面的问题&#xff1a; 尾插效率还不错…

SQL-LABS

less8 and 11-- 12 发现存在注入点 接下来我们会接着用联合查询 和以往的题目不一样没显错位&#xff0c;也就是没有报错的内容&#xff0c;尝试用盲注 布尔型 length&#xff08;&#xff09;返回长度 substr&#xff08;&#xff09;截取字符串&#xff08;语法substr&a…

冷空气已发货,户外作业者请做好足部保暖

冷空气不间断 多地体验一夜入冬 据中国天气网消息 冷空气正在马不停蹄发货 三分之二国土需羽绒服护体 同时记得做好足部保暖。 在寒风凛冽的冬日中&#xff0c;对于常年在户外工作人员的群体来说&#xff0c;又到了一年里最难熬的时节。他们不畏严寒&#xff0c;在零度以下…

C#中.NET Framework4.8 Windows窗体应用通过EF访问数据库并对数据库追加、删除记录

目录 一、应用程序设计 二、应用程序源码 三、生成效果 前文作者发布了在.NET Framework4.8 控制台应用中通过EF访问已有数据库&#xff0c;事实上在.NET Framework4.8 Windows窗体应用中通过EF访问已有数据库也是一样的。操作方法基本一样&#xff0c;数据库EF模型和上下文…

TikTok与心灵成长:娱乐与启发并重

社交媒体已成为我们生活的一部分&#xff0c;其中TikTok以其短视频内容和创新性而闻名。然而&#xff0c;TikTok不仅仅是一个娱乐平台&#xff0c;它还具有潜力成为心灵成长的有力工具。本文将探讨TikTok如何在娱乐与启发之间取得平衡&#xff0c;以促进心灵成长和积极影响。 娱…

大环境之下软件测试行业趋势能否上升?

如果说&#xff0c;2021年对于全世界来说&#xff0c;都是一场极大的挑战的话&#xff1b;那么&#xff0c;2022年绝对是机遇多多的一年。众所周知&#xff0c;随着疫情在全球范围内逐步得到控制&#xff0c;无论是国际还是国内的环境&#xff0c;都会呈现逐步回升的趋势&#…

阿里云国际站:密钥管理服务

文章目录 一、密钥管理服务的概念 二、密钥管理服务的功能 三、密钥管理服务的优势 一、密钥管理服务的概念 密钥管理服务KMS&#xff08;Key Management Service&#xff09;是您的一站式密钥管理和数据加密服务平台、一站式凭据安全管理平台&#xff0c;提供简单、可靠、…

学开发语言 求职互联网行业的未来发展

我喜欢回答各种各样的问题&#xff0c;自然也喜欢记录下自己的一些观点和看法。希望给朋友们多一点参考&#xff0c;也欢迎交流探讨。 提问&#xff1a; 自考本科&#xff0c;学的开发语言&#xff0c;问互联网行业求职和发展&#xff01; 作为一个资深码农&#xff0c;对这样…

2.3.5 交换机的VRRP技术

实验2.3.5 交换机的VRRP技术 一、任务描述二、任务分析三、具体要求四、实验拓扑五、任务实施1.交换机的基本配置 六、任务验收七、任务小结 一、任务描述 某公司的网络核心层原来采用一台三层交换机&#xff0c;随着网络应用的日益增多&#xff0c;对网络的可靠性也提出了越来…

win环境Jenkins高级配置各种插件和启动jar包

今天分享Jenkins高级配置各种插件&#xff0c;在看此篇之前必须先了解上一篇博客内容&#xff0c;因为此篇是在上篇的基础上完善的&#xff1a; 一、git仓库的多分支选择 想要多分支选择部署&#xff0c;需要全局安装Git parameter 插件 1、点击入口 来到 2、点击进入 安装一…

JVM查看内存新生代老年代回收情况,排查oom

jstat 命令 jstat - [-t] [-h] [ []] option&#xff1a;我们经常使用的选项有gc、gcutil vmid&#xff1a;java进程id interval&#xff1a;间隔时间&#xff0c;单位为毫秒 count&#xff1a;打印次数 每秒打印一次 jstat -gc 9162 1000S0C:年轻代第一个survivor的容量…

【设计原则篇】聊聊开闭原则

开闭原则 其实就是对修改关闭&#xff0c;对拓展开放。 是什么 OCP&#xff08;Open/Closed Principle&#xff09;- 开闭原则。关于开发封闭原则&#xff0c;其核心的思想是&#xff1a;模块是可扩展的&#xff0c;而不可修改的。也就是说&#xff0c;对扩展是开放的&#xf…