分布式数据库环境(HBase分布式数据库)的搭建与配置

分布式数据库环境(HBase分布式数据库)的搭建与配置

  • 1. VMWare安装CentOS7.9.2009
    • 1.1 下载 CentOS7.9.2009 映像文件
    • 1.2启动 VMware WorkstationPro,点击“创建新的虚拟机”
    • 1.3在新建虚拟机向导界面选择“典型(推荐)”
    • 1.4安装来源选择“安装程序光盘映像文件(iso)”,点击“浏览”按钮,选择下载的 centos7映像文件:CentOS-7-x86_64-Minimal-2009.iso
    • 1.5指定虚拟机名称和位置(建议存储位置从默认的 C 盘改为其它盘)
    • 1.6指定磁盘容量,可以使用推荐的 20GB
    • 1.7点击“自定义硬件”,修改默认配置参数
    • 1.8 VM 自动运行 CentOS7 映像文件,点击鼠标进入虚拟机,用键盘选中“Install CentOS7”,然后按回车键
    • 1.9在 CentOS 7 的安装欢迎界面,选择安装语言为“简体中文”。
    • 1.10设置“安装信息摘要”。
      • 1.10.1 点击“安装位置”,在新窗口中,可以使用默认设置,直接点击左上角的“完成”按钮。
      • 1.10.2点击“KDUMP”,在新窗口中取消“启用 kdump”后,点击左上角的“完成”按钮。
      • 1.10.3点击“网络和主机名”,在新窗口中点击按钮打开以太网连接,在下方设置主机名为“centos7server”,并点击“应用”按钮,然后点击左上角的“完成”按钮。
      • 1.10.4配置完毕,点击“开始安装”。在安装界面点击“ROOT 密码”,在新窗口中设置密码为:root,然后需要两次点击左上角的“完成按钮”,返回安装界面。
      • 1.10.5等安装结束后,点击“重启”按钮。
      • 1.10.6重启进入登陆界面,输入用户名 root,密码 root(输入密码时没有回显),即可成功登陆。
    • 1.11系统设置
      • 1.11.1修改网卡配置信息
  • 2. 安装hadoop
    • 2.1克隆一台虚拟机,设置网卡静态ip
    • 2.2配置主机名
    • 2.3安装jdk和Hadoop
    • 2.4配置相关文件
    • 2.5运行启动hadoop
  • 3. 安装Hbase
    • 3.1 准备安装文档。
    • 3.2配置环境变量
    • 3.3修改Hbase配置文件
    • 3.4启动hbase。
  • 4.总结
  • 5.参考资料

1. VMWare安装CentOS7.9.2009

1.1 下载 CentOS7.9.2009 映像文件

下载网址:下载网址

1.2启动 VMware WorkstationPro,点击“创建新的虚拟机”

在这里插入图片描述

1.3在新建虚拟机向导界面选择“典型(推荐)”

在这里插入图片描述

1.4安装来源选择“安装程序光盘映像文件(iso)”,点击“浏览”按钮,选择下载的 centos7映像文件:CentOS-7-x86_64-Minimal-2009.iso

在这里插入图片描述

1.5指定虚拟机名称和位置(建议存储位置从默认的 C 盘改为其它盘)

在这里插入图片描述

1.6指定磁盘容量,可以使用推荐的 20GB

在这里插入图片描述

1.7点击“自定义硬件”,修改默认配置参数

在这里插入图片描述
设置内存为 4G,处理器为 2 核
移除打印机(选中打印机后,点击移除按钮)
在这里插入图片描述
配置完成后,点击“关闭”按钮。
回到新建虚拟机向导界面,点击“完成”按钮。
在这里插入图片描述

1.8 VM 自动运行 CentOS7 映像文件,点击鼠标进入虚拟机,用键盘选中“Install CentOS7”,然后按回车键

在这里插入图片描述

1.9在 CentOS 7 的安装欢迎界面,选择安装语言为“简体中文”。

1.10设置“安装信息摘要”。

1.10.1 点击“安装位置”,在新窗口中,可以使用默认设置,直接点击左上角的“完成”按钮。

1.10.2点击“KDUMP”,在新窗口中取消“启用 kdump”后,点击左上角的“完成”按钮。

在这里插入图片描述
在这里插入图片描述

1.10.3点击“网络和主机名”,在新窗口中点击按钮打开以太网连接,在下方设置主机名为“centos7server”,并点击“应用”按钮,然后点击左上角的“完成”按钮。

在这里插入图片描述

1.10.4配置完毕,点击“开始安装”。在安装界面点击“ROOT 密码”,在新窗口中设置密码为:root,然后需要两次点击左上角的“完成按钮”,返回安装界面。

1.10.5等安装结束后,点击“重启”按钮。

1.10.6重启进入登陆界面,输入用户名 root,密码 root(输入密码时没有回显),即可成功登陆。

在这里插入图片描述

1.11系统设置

1.11.1修改网卡配置信息

查看当前ip地址
在这里插入图片描述
切换工作目录:cd /etc/sysconfig/network-scripts/
编辑网卡文件:vi ifcfg-ens33
默认为命令模式,无法修改文件内容,按下字母“i”进入编辑模式,修改内容如下:
在这里插入图片描述
修改完毕后,按“ESC”键进入命令模式,输入“:wq”保存退出
重启网卡:systemctl restart network
检查网络是否连通:ping www.baidu.com
显示如下结果,说明网络正常,按 Ctrl+C 退出执行:
在这里插入图片描述
关闭防火墙:systemctl disable firewalld
关闭 selinux:sed -i ‘s/enforcing/disabled/’ /etc/selinux/config
重启:reboot

2. 安装hadoop

2.1克隆一台虚拟机,设置网卡静态ip

• cd /etc/sysconfig/network-scripts
• 编辑网卡文件:vi ifcfg-ens33
• 将IPADDR的值修改为192.168.37.182(其它配置不变)。
• 保存后,执行systemctl restart network,即可重启网卡,使设置生效
• 运行ping www.baidu.com检查网络是否连通。

2.2配置主机名

• 在虚拟机hadp01上编辑hostname文件vi /etc/hostname,修改文件内容为:hadp01
• 编辑hadp01的hosts文件vi /etc/hosts。
加以下内容:192.168.3.182 hadp02
• 在虚拟机的hosts文件中增运行reboot重启CentOS系统,使设置生效

2.3安装jdk和Hadoop

• 在官网下载文件:jdk-8u201-linux-x64.tar.gz和hadoop-2.9.2.tar.gz,通过MobaXterm,将保存在Win10中的jdk-8u201-linux-x64.tar.gz和hadoop-2.9.2.tar.gz传递到hadp01的/home/root目录中,并解压到执行命令tar -xzvf jdk-8u201-linux-x64.tar.gz -C apps/,tar -xzvf hadoop-2.9.2.tar.gz -C apps/, 将jdk解压到指定目录中(/home/root/apps)。
• vi /etc/profile 编辑/etc/profile文件,在文件的末尾设置JAVA环境变量
在这里插入图片描述

2.4配置相关文件

• 2.4.1 vi /etc/profile 编辑/etc/profile文件,在文件的末尾设置Hadoop环境变量
在这里插入图片描述
运行source /etc/profile 让修改后的/etc/profile文件立即生效
• 执行命令cd /home/root/apps/hadoop-2.9.2/etc/hadoop,切换到目录/home/root/apps/hadoop-2.9.2/etc/hadoop下。
• 编辑core-site.xml文件vi core-site.xml
在这里插入图片描述
• 编辑hdfs-site.xml文件,vi hdfs-site.xml

在这里插入图片描述
• 根据模板创建mapred-site.xml文件:cp mapred-site.xml.template mapred-site.xml
• 编辑mapred-site.xml文件

在这里插入图片描述
• 编辑yarn-site.xml文件vi yarn-site.xml
o yarn.nodemanager.aux-services:指定辅助服务
o yarn.resourcemanager.hostname:指定resourcemanager的地址

<property><name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property><name>yarn.resourcemanager.hostname</name>
<value>hadp01</value>
</property>

• 编辑hadoop-env.sh文件vi hadoop-env.sh
o 将默认的export JAVA_HOME=${JAVA_HOME}替换为export JAVA_HOME=/home/root/apps/jdk1.8.0_201
• 编辑yarn-env.sh文件i
o 将默认的# export JAVA_HOME=/home/y/libexec/jdk1.6.0/替换为export JAVA_HOME=/home/root/apps/jdk1.8.0_201,记得删除这一行最前面的#
• 编辑mapred-env.sh文件vi mapred-env.sh
o 将默认的# export JAVA_HOME=/home/y/libexec/jdk1.6.0/替换为export JAVA_HOME=/home/root/apps/jdk1.8.0_201,记得删除这一行最前面的#
• 编辑slaves文件vi slaves
o 将默认的localhost改为hadp01

2.5运行启动hadoop

• 格式化namenode节点:hdfs namenode -format
• 启动Hadoop集群
o cd /home/root/apps/hadoop-2.9.2/sbin
o ./start-all.sh
o 提示Are you sure you want to continue connecting (yes/no)?时,输入yes
• jps显示当前所有java进程pid,查看Hadoop是否启动成功(NameNode,SecondaryNameNode,DataNode,ResouceManager,NodeManager)

在这里插入图片描述
• 在Windows中启动浏览器查看运行情况(推荐使用Google Chrome浏览器)
o HDFS的Web页面:192.168.37.182:50070

在这里插入图片描述
o YARN的Web页面:192.168.37.182:8088
在这里插入图片描述

3. 安装Hbase

3.1 准备安装文档。

• 在Windows中下载HBase,下载链接:https://archive.apache.org/dist/hbase/2.2.6/hbase-2.2.6-bin.tar.gz
• 利用MobaXterm,将Windows中保存的hbase-2.2.6-bin.tar.gz拷贝到hadp02虚拟机,存储位置:/home/root/
• 在hadp01中切换到HBase安装文件所在目录:cd /home/root
• 解压缩到apps目录中:tar -xzvf hbase-2.2.6-bin.tar.gz -C apps

3.2配置环境变量

• 编辑/etc/profile文件,vi /etc/profile,,在文件末尾增加内容如下:
在这里插入图片描述
• 并使修改的profile文件生效:source /etc/profile

3.3修改Hbase配置文件

• 切换到配置文件目录:cd /home/root/apps/hbase-2.2.6/conf
• 编辑hbase-env.sh文件:vi hbase-env.sh
o 配置JAVA_HOME,HBASE_MANAGES_ZK
o 找到# export JAVA_HOME=/usr/java/jdk1.6.0/,修改为export JAVA_HOME=/home/root/apps/jdk1.8.0_201(注意:要去掉最前面的#)

在这里插入图片描述
o 找到如下代码

# Tell HBase whether it should manage it's own instance of Zookeeper or not.
# export HBASE_MANAGES_ZK=true

去掉export前面的#,修改效果如下:

# Tell HBase whether it should manage it's own instance of Zookeeper or not.
export HBASE_MANAGES_ZK=true

• 编辑hbase-site.xml文件:vi hbase-site.xml
o 修改第一项hbase.cluster.distributed的value值为true,并添加部分内容,修改后文件如下:
在这里插入图片描述
• 编辑regionservers文件:vi regionservers,删除原有内容localhost,修改内容为:
在这里插入图片描述

3.4启动hbase。

• 启动hdfs集群
在这里插入图片描述
• 启动hbase

在这里插入图片描述
• 检查启动状态。
o 输入jps,查看进程中是否包含HMaster、HRegionServer、HQuorumPeer
o 在Windows环境下,启动Chrome浏览器,输入:192.168.37.182:16010

在这里插入图片描述
在这里插入图片描述
• 命令行形式操作hbase。
在这里插入图片描述

4.总结

这个搭建过程主要是CentOS上成功完成了Hadoop和HBase的伪分布式安装。主要包括环境配置、Hadoop与HBase的安装、配置与测试。

如果对您有帮助,希望您能给我点个赞~!

5.参考资料

(1)HBase基础知识
https://www.cnblogs.com/boanxin/p/10407778.html
https://blog.csdn.net/qq_1018944104/article/details/85013790?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.channel_param&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.channel_param

(2)搭建5个节点的hadoop集群环境(CDH5)
https://blog.csdn.net/u010270403/article/details/51446674

(3)HBase完全分布式集群环境搭建过程总结
https://blog.csdn.net/qq_38586378/article/details/81352358

附选:
Oracle的安装与卸载
目的与要求
掌握Oracle 10g数据库服务器的安装与配置
掌握Oracle 10g数据库服务器安装过程中问题的解决

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/452879.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2024java高频面试之JVM

说说 JVM 内存区域 程序计数器 是「程序控制流的指示器&#xff0c;循环&#xff0c;跳转&#xff0c;异常处理&#xff0c;线程的恢复等工作都需要依赖程序计数器去完成」。程序计数器是「线程私有」的&#xff0c;它的「生命周期是和线程保持一致」的&#xff0c;我们知道&a…

【STM32开发笔记】移植AI框架TensorFlow【DSP指令加速篇】

【STM32开发笔记】移植AI框架TensorFlow【DSP指令加速篇】 一、前文回顾二、CMSIS-NN简介2.1 为什么介绍CMSIS-NN&#xff1f;2.2 CMSIS-NN是什么&#xff1f;2.3 CMSIS-NN核心特性2.4 CMSIS-NN算子支持 三、TFLMCMSIS-NN集成3.1 包含TFLM的STM32项目3.2 理解TFLM中CMSIS-NN相关…

【前端学习】HTML+CSS+JavaScript 入门教程

文章目录 前言1. HTML、CSS、JavaScript 的关系2. HTML2.1 什么是 HTML2.2 认识标签2.3 HTML 常见标签1&#xff09;标题标签&#xff1a;h1 - h62&#xff09;段落标签&#xff1a;p3&#xff09;换行标签&#xff1a;br4&#xff09;图片标签&#xff1a;img5&#xff09;超链…

Linux系统:(Linux系统概述与安装)

硬件计算机硬件是指计算机系统中所有物理部件的总称。包括计算机主机、显示器、键盘、鼠标、内存、硬盘、处理器、主板等等。这些硬件部件是计算机系统运行的基础 不管是电脑系统(个人电脑、服务器等)、还是移动端操作系统(手机、平板等)。它的功能就是做为用户和硬件之间的桥梁…

Java配置 Redis 连接互斥锁或队列预先加载缓存

学习总结 1、掌握 JAVA入门到进阶知识(持续写作中……&#xff09; 2、学会Oracle数据库入门到入土用法(创作中……&#xff09; 3、手把手教你开发炫酷的vbs脚本制作(完善中……&#xff09; 4、牛逼哄哄的 IDEA编程利器技巧(编写中……&#xff09; 5、面经吐血整理的 面试技…

2024年龙信

挂载VC的密码&#xff1a;MjAyNOmmeS/oeadrw 手机取证 1. Android 设备在通过 ADB 连接时&#xff0c;通常会要求用户授权连接&#xff0c;会要求用户确认设备授权&#xff0c;并将该设备的公钥保存在 adb_keys文件中 寻找到data/misc/adb/adb_keys下面有中有两个&#xff0c;…

动态规划:17.简单多状态 dp 问题_买卖股票的最佳时机III_C++

题目链接&#xff1a; 一、题目解析 题目&#xff1a;123. 买卖股票的最佳时机 III - 力扣&#xff08;LeetCode&#xff09; 解析&#xff1a; 拿示例1举例&#xff1a; 我们可以如图所示买入卖出股票&#xff0c;以求得最大利润&#xff0c;并且交易次数不超过2次 拿示…

webpack自定义插件 ChangeScriptSrcPlugin

插件文件 class ChangeScriptSrcPlugin {apply(compiler) {const pluginName "ChangeScriptSrcPlugin";compiler.hooks.compilation.tap(pluginName, (compilation, callback) > {compilation.hooks.htmlWebpackPluginAlterAssetTags.tapAsync(pluginName,(html…

N9305高品质mp3音频语音芯片ic在早教故事机的应用方案

随着人们对教育的重视程度不断提高&#xff0c;儿童早教机已经成为了很多家庭的教育必备品。N9305音乐芯片在早教故事机中的应用&#xff0c;不仅为孩子们带来了丰富多彩的故事世界&#xff0c;还以其卓越的音质表现和功能&#xff0c;进一步提升了早教体验。 九芯电子N9305高品…

HarmonyOS Next模拟器异常问题及解决方法

1、问题1&#xff1a;Failed to get the device apiVersion. 解决方法&#xff1a;关闭模拟器清除用户数据重启

Kafka之消费者组与消费者

消费者&#xff08;Consumer&#xff09;在Kafka的体系结构中是用来负责订阅Kafka中的主题&#xff08;Topic&#xff09;&#xff0c;并从订阅的主题中拉取消息后进行处理。 与其他消息中间件不同&#xff0c;Kafka引入一个逻辑概念——消费组&#xff08;Consumer Group&…

黑马程序员Java笔记整理(day03)

1.switch 2.for与while对比 3.嵌套定义,输出的区别性 4.break与continue 5.随机数生成的两种方式 6.Random 7.随机验证码

15分钟学Go 第2天:安装Go环境

第2天&#xff1a;安装Go环境 1. 引言 在学习Go语言之前&#xff0c;首先需要配置好本地开发环境。本节将详细介绍如何在Windows 11上安装和配置Go语言环境&#xff0c;包括安装步骤、环境变量设置、VS Code配置与测试、以及常见问题解决方案。完成这些步骤后&#xff0c;你将…

【计算机网络 - 基础问题】每日 3 题(四十九)

✍个人博客&#xff1a;https://blog.csdn.net/Newin2020?typeblog &#x1f4e3;专栏地址&#xff1a;http://t.csdnimg.cn/fYaBd &#x1f4da;专栏简介&#xff1a;在这个专栏中&#xff0c;我将会分享 C 面试中常见的面试题给大家~ ❤️如果有收获的话&#xff0c;欢迎点赞…

基于模型设计的智能平衡移动机器人-基础实验SCI

目录 SCI通信 模型搭建 串口测试 实验结果 SCI通信 简单来说就是信号的传递。 SCI&#xff08;Serial Communication Interface)意为“串行通信接口”&#xff0c;是相对于并行通信的&#xff0c;是串行通信技术的一种总称&#xff0c;最早由Motorola公司提出的。它是一…

Web Storage:数据储存机制

前言 在HTML5之前&#xff0c;开发人员一般是通过使用Cookie在客户端保存一些简单的信息的。在HTML5发布后&#xff0c;提供了一种新的客户端本地保存数据的方法&#xff0c;那就是Web Storage&#xff0c;它也被分为&#xff1a;LocalStorage和SessionStorage&#xff0c;它允…

【QT】常用控件(三)

个人主页~ 常用控件&#xff08;一&#xff09;~ 常用控件&#xff08;二&#xff09;~ QT中其他线程是改变不了GUI上的内容的&#xff0c;只有主线程可以 常用控件 四、显示类控件2、LCD Number3、ProgressBar4、Calendar Widget 五、输入类控件1、Line Edit正则表达式 2、Te…

【数据处理】大数据入门

&#x1f308; 个人主页&#xff1a;十二月的猫-CSDN博客 &#x1f525; 系列专栏&#xff1a; &#x1f3c0;软件开发必备知识_十二月的猫的博客-CSDN博客 &#x1f4aa;&#x1f3fb; 十二月的寒冬阻挡不了春天的脚步&#xff0c;十二点的黑夜遮蔽不住黎明的曙光 目录 1. 前…

UE小:UE5的Pixelstreaming在捕获画面的时候没办法显示非Viewport的Slate区域按钮的ToolTip

原始代码 首先&#xff0c;让我们看看原始代码片段&#xff1a; // Some widgets might want to provide an alternative Tooltip Handler. if (bCanSpawnNewTooltip || !NewTooltip) {TSharedPtr<SWidget> NewTooltipWidget NewTooltip ? NewTooltip->AsWidget()…

[含文档+PPT+源码等]精品基于springboot实现的原生微信小程序小区兼职系统

基于Spring Boot实现的原生微信小程序小区兼职系统背景&#xff0c;可以从以下几个方面进行阐述&#xff1a; 一、技术背景 移动互联网的普及&#xff1a;随着移动互联网的快速发展&#xff0c;微信小程序作为一种轻量级应用&#xff0c;因其无需下载安装、即用即走的特点&am…