- mongodb备份工具介绍:
- 1.mongoexport(备份)/mongoimport(恢复)
- mongoexport是MongoDB提供的一个工具,用于将数据从MongoDB实例导出到JSON或CSV格式的文件中,这个工具对于数据迁移、数据备份或者在不同的数据库之间同步数据非常有用
- 2.mongodump(备份)/mongorestore(恢复)
- mongodump 是 MongoDB 官方提供的一个工具,用于备份 MongoDB 数据库。导出和导入的文件格式为BSON文件格式
- 1.mongoexport(备份)/mongoimport(恢复)
- 备份工具的区别:
- mongoexport/mongoimport 导出和导入的是JSON格式或者CSV格式
- mongodump/mongorestore 导入和导出的是BSON格式
- JSON格式可读性较强但是体积较大,BSON则是二进制文件,体积小。
- 在MongoDB不同的版本之间备份和恢复,BSON格式可能会随着版本不同而有所不同,所以不同版本之间使用mongodump/mongorestore备份工具可能不会成功,具体要看版本之间的兼容性。
- 不同版本选择备份时,JSON格式由于其简单、灵活、易读,非常适合用于跨版本软件的备份和恢复工作
- 应用场景:
- 1.mongoexport/mongoimport:(JSON格式、CSV格式)
- 适合异步平台迁移或同平台、跨大版本
- 2.mongodump/mongorestore:(BSON格式)
- 日常备份恢复时使用
- 1.mongoexport/mongoimport:(JSON格式、CSV格式)
- 导出工具mongoexport:
- 可以将一个集合导出成JSON格式或CSV格式
- 适用于:
- 版本差异较大
- 异步平台数据迁移
- mongoexport具体用法如下所示:
- $ mongoexport --help
- 参数说明:
- -h:指明数据库宿主机的IP
- -u:指明数据库的用户名
- -p:指明数据库的密码
- -d:指明数据库的名字
- -c:指明collection的名字
- -f:指明要导出那些列
- -o:指明到要导出的文件名
- -q:指明导出数据的过滤条件
- --authenticationDatabase admin
-
- 安装备份工具:
- tar xf mongodb-database-tools-rhel70-x86_64-100.3.1.tgz
- cd mongodb-database-tools-rhel70-x86_64-100.3.1/bin/
- cp * /mongodb/bin/
- chown -R mongod.mongod /mongodb/
-
- 创建一个库和集合,填入数据用于备份测试:
- use hehe
- db.createCollection("log");
- for(i=0;i<10000;i++){db.log.insert({"uid":i,"name":"mysql","age":6,"date":new Date()})}
- 创建一个库和集合,填入数据用于备份测试:
-
- 创建一个超级管理员用户(可以管理所有库):
- use admin
- db.createUser(
- {
- user: "root",
- pwd: "root123",
- roles: [ { role: "root", db: "admin" } ]
- }
- )
- 创建一个超级管理员用户(可以管理所有库):
-
- 单表备份至JSON格式:
- mongoexport -uroot -proot123 --port 27017 --authenticationDatabase admin -d hehe -c log -o /mongodb/log.json
- 单表备份至CSV格式:
- (需要使用--type=csv参数)
- mongoexport -uroot -proot123 --port 27017 --authenticationDatabase admin -d hehe -c log --type=csv -f uid,name,age,date -o /mongodb/log.csv
- 单表备份至JSON格式:
- 导入工具mongoimport:
- 它是mongodb数据库提供的一个工具,用于将数据从外部导入到mongodb集合中,这个工具可以处理JSON\CSV\XML等格式的数据:
- 参数:
- -h:指明数据库宿主机的IP
- -u:指明数据库的用户名
- -p:指明数据库的密码
- -d:指明数据库的名字
- -c:指明collection的名字
- -f:指明要导入那些列
- -j:并行多开线程,默认4个
-
- 恢复JSON格式表数据到log1集合:
- mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d hehe -c log1 /mongodb/log.json
- 恢复CSV格式的文件到log2集合:
- 注意:
- 1.当CSV格式的文件中,第一行存在列名的话,在导入数据时,需要指定参数:--headerline(导入的信息包含头部信息)
- (当使用 --headerline 选项时,mongoimport 会将 CSV 文件的第一行作为字段名,并将后续的行作为数据记录导入到 MongoDB 集合中。)
- 2.当导入的CSV格式文件中,没有列名时,在导入时可以指定参数-f,后面添加第一行的列名
- 1.当CSV格式的文件中,第一行存在列名的话,在导入数据时,需要指定参数:--headerline(导入的信息包含头部信息)
- 开始导入:
- (1)csv格式的文件头行,有列名字
- mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d hehe -c log2 --type=csv --headerline --file /mongodb/log.csv
- (2)csv格式的文件头行,没有列名字
- mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d hehe -c log3 --type=csv -f id,name,age,date --file /mongodb/log1.csv
- (1)csv格式的文件头行,有列名字
- 注意:
- 恢复JSON格式表数据到log1集合:
- 不同平台之间数据迁移案列:
- mysql————>mongodb
- 1.开启mysql安全路径,用于限制只有指定目录下的数据文件可以被导出和导入
- vim /etc/my.cnf
- 添加:
- secure-file-priv=/tmp
- 添加:
- 重启数据库生效:
- 补充:
- vim /etc/my.cnf
- 2.提前准备一些数据用于测试:
- 先将数据源导入mysql中:
- source /root/world.sql
- 将数据导出到/tmp下:
- select * from world.city into outfile '/tmp/city1.csv' fields terminated by ',';
- 这是一个备份数据的公式,如果库和表名,则直接将上面的修改为自己的库和表名,就可以备份数据了。
- select * from world.city into outfile '/tmp/city1.csv' fields terminated by ',';
- 先将数据源导入mysql中:
-
- 3.在mongodb数据库中导入刚才备份出来的数据:
- mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d world -c city --type=csv -f ID,Name,CountryCode,District,Population --file /tmp/city1.csv
- -f:列名
- mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d world -c city --type=csv -f ID,Name,CountryCode,District,Population --file /tmp/city1.csv
- 3.在mongodb数据库中导入刚才备份出来的数据:
-
- 4.假如mysql中要迁移100张表到mongodb数据库中,以下有一个公式可以直接将导出的命令列出:
- select concat("select * from ",table_schema,".",table_name ," into outfile '/tmp/",table_schema,"_",table_name,".csv' fields terminated by ',';") from information_schema.tables where table_schema ='world';
- (使用时只需要修改库名即可)
- select concat("select * from ",table_schema,".",table_name ," into outfile '/tmp/",table_schema,"_",table_name,".csv' fields terminated by ',';") from information_schema.tables where table_schema ='world';
- 4.假如mysql中要迁移100张表到mongodb数据库中,以下有一个公式可以直接将导出的命令列出:
- mongodb日常数据备份:
- mongodump介绍
- mongodump可以在mongodb运行时进行备份。
- 它的工作原理是对运行的Mongodb做查询,然后将所有查到的文档写入磁盘、
- 它可以创建 MongoDB 实例或集合的 BSON 文件快照
- 参数:
- 参数说明:
- -h:指明数据库宿主机的IP
- -u:指明数据库的用户名
- -p:指明数据库的密码
- -d:指明数据库的名字
- -c:指明collection的名字
- -o:指明到要导出的文件名
- -q:指明导出数据的过滤条件
- -j:并行备份的线程数默认是4
- --oplog 备份的同时备份oplog
- ---------------------------------------------
- --authenticationDatabase admin:指定认证库
- mongodump介绍
-
- mongorestore介绍:
- mongorestore是MongoDB的数据恢复工具,它可以将mongodump创建的备份文件恢复到mongoDB这个实例中
- mongorestore介绍:
-
- 使用案列:
- 创建备份目录,将数据备份到以下目录:
- mkdir /mongodb/backup /mongodb/backup1 /mongodb/backup2 /mongodb/backup3 /mongodb/backup4 /mongodb/backup5
- 全库备份(备份所有):
- mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -o /mongodb/backup
- 备份单库(参数:-d 库名)
- mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -d world -o /mongodb/backup1/
- 备份指定库下的单个集合:(参数:-d 库名 -c 集合名)
- mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -d hehe -c log -o /mongodb/backup2/
- 创建备份目录,将数据备份到以下目录:
- 使用案列:
-
- 压缩备份:
- 全库备份压缩:
- mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -o /mongodb/backup3/ --gzip
- 单库压缩备份:
- mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -d hehe -o /mongodb/backup4/ --gzip
- 单表压缩备份:
- mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -d world -c city -o /mongodb/backup5/ --gzip
- 全库备份压缩:
- 压缩备份:
-
- 恢复数据:
- mongorestore -uroot -proot123 --port 27017 --authenticationDatabase admin -d world /mongodb/backup/world
- 压缩还原(--gzip:解压后还原):
- mongorestore -uroot -proot123 --port 27017 --authenticationDatabase admin -d hehe -c log --gzip /mongodb/backup3/hehe/log.bson.gz
- 删除还原:
- --drop表示恢复的时候把之前的集合drop掉(危险)
- mongorestore -uroot -proot123 --port 27017 --authenticationDatabase admin -d hehe --drop /mongodb/backup/hehe
- 恢复数据: