基于hadoop下的hbase安装

简介

        HBase是一个分布式的、面向列的开源数据库，该技术来源于Fay Chang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

        HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

HBase的特点有：

        稀疏：HBase的列理论上是允许无限扩展的，对于成百万的列来说，会有大量的空值，如果使用null填充的策略，势必会造成大量空间的浪费，因此，稀疏性是HBase无限扩展的一个重要条件。
        排序：构成HBase的kv在同一文件中都是有序的，首先是rowkey（行键）升序排序，rowkey相同则column key（列族和修饰符）升序排序，rowkey、column key相同则timestamp（时间戳）降序排序。
        分布式：构成HBase的map都不在某台机器上，而是分布在整个集群中。

HBase的缺点有：

    HBase不支持条件查询，只支持按照Row key来查询。这意味着用户需要预先知道查询条件，否则无法进行查询。
    HBase暂时不能支持Master server的故障切换，当Master宕机后，整个存储系统就会挂掉。这可能会对系统稳定性造成一定影响。
    HBase的数据类型只有简单的字符类型，所有的类型都是交由用户自己处理，它只保存字符串。相比之下，关系数据库有丰富的类型和存储方式。
    HBase只有很简单的插入、查询、删除、清空等操作，表和表之间是分离的，没有复杂的表和表之间的关系，而传统数据库通常有各式各样的函数和连接操作。

HBase数据模型的核心概念。


（1）表
HBase是一种列式存储的分布式数据库，其核心概念是表（Table）。与传统关系型数据库一样，HBase的表也是由行和列组成，但HBase同一列可以存储不同时刻的值，同时多个列可以组成一个列簇（Column Family），这种组织形式主要基于存取性能。
（2）行键
        RowKey既是HBase表的行键，也是HBase表的主键。HBase表中的记录是按照RowKey的字典顺序进行存储的。在HBase中，为了高效地检索数据，需要设计良好的RowKey来提高查询性能。首先RowKey被冗余存储，所以长度不宜过长，RowKey过长将会占用大量的存储空间，同时会降低检索效率；其次RowKey应该尽量均匀分布，避免产生热点问题（大量用户访问集中在一个或极少数节点，造成单台节点超出自身承受能力）；另外需要保证RowKey的唯一性。
（3）列簇
        HBase表中的每个列都归属于某个列簇，一个列簇中的所有列成员有着相同的前缀。比如，列anchor:cnnsi.com和anchor:my.look.ca都是列簇anchor的成员。列簇是表的Schema的一部分，必须在使用表之前定义列簇，但列却不是必需的，写数据时可以动态加入。一般将经常一起查询的列放在一个列簇中，合理划分列簇将减少查询时加载到缓存的数据，提高查询效率，但也不能有太多的列簇，因为跨列簇访问是非常低效的。
（4）单元格
        HBase中通过Row和Column确定的一个存储单元称为单元格（Cell）。每个单元格都保存着同一份数据的多个版本，不同时间版本的数据按照时间顺序倒序排序，最新时间的数据排在最前面，时间戳是64位的整数，可以由客户端在写入数据时赋值，也可以由RegionServer自动赋值。为了避免数据存在过多版本造成的管理（包括存储和索引）负担，HBase提供了两种数据版本回收方式。一是保存数据的最后n个版本；二是保存最近一段时间内的数据版本，比如最近7天。用户可以针对每个列簇进行设置。

安装准备

       zookeeper安装

        Hadoop安装

        Hbase安装

通过官网下载，hbase-2.5.6-bin.tar.gz 包

##可能使用网页下载会更快，然后再上传到虚拟机中
wget https://dlcdn.apache.org/hbase/2.5.6/hbase-2.5.6-bin.tar.gz
##解压缩
tar -zxvf hbase-2.5.6-bin.tar.gz
##挂载软连接
ln -s hbase-2.5.6/   hbase

配置文件设置

        HBase的conf目录下的文件进行配置。通过设置hbase-site.xml配置文件进行个性化配置，从而覆盖默认的hbase-default.xml配置内容；通过设置hbase-en.sh文件，添加HBase启动时使用到的环境变量；通过设置RegionServers文件，使得HBase能启动所有Region服务器进程；通过设置backup-masters文件，可以实现HBase HMaster的高可用。

        hbase-site.xml文件配置

        hbase-site.xml 是 HBase 运行和对外服务的基本环境配置文件。

vim  hbase/conf/hbase-site.xml

        所有节点均采用以下配置内容 

<configuration><!--HBase will refuse to run in such an environment. Setting`hbase.unsafe.stream.capability.enforce` to `false` overrides this behavior,permitting operation. This configuration is for the developer workstationonly and __should not be used in production!__See also https://hbase.apache.org/book.html#standalone_dist--><property><name>hbase.cluster.distributed</name><value>true</value></property><property><name>hbase.tmp.dir</name><value>./tmp</value></property><property><name>hbase.zookeeper.quorum</name><value>vm02,vm03,vm04</value></property> <property><name>hbase.zookeeper.property.dataDir</name><value>/home/hadoop/data/zookeeper</value></property><property><name>hbase.zookeeper.property.clientPort</name><value>2181</value></property>
<property><name>hbase.rootdir</name><value>hdfs://mycluster/hbase</value></property><property><name>hbase.unsafe.stream.capability.enforce</name><value>true</value></property>
</configuration>

参数解释：

  • <property><name>hbase.cluster.distributed</name><value>true</value></property>：设置 HBase 集群模式为分布式模式，即启用分布式功能。
  • <property><name>hbase.tmp.dir</name><value>./tmp</value></property>：设置 HBase 临时数据目录路径，用于存储一些临时数据，如 regionserver 等工作数据。
  • <property><name>hbase.zookeeper.quorum</name><value>vm02,vm03,vm04</value></property>：设置 ZooKeeper 集群的地址，多个地址间使用逗号分隔，默认端口为 2181。
  • <property><name>hbase.zookeeper.property.dataDir</name><value>/home/hadoop/data/zookeeper</value></property>：设置 ZooKeeper 的数据目录路径，用于保存 ZooKeeper 数据信息。
  • <property><name>hbase.zookeeper.property.clientPort</name><value>2181</value></property>：设置客户端连接 ZooKeeper 的端口号。
  • <property><name>hbase.rootdir</name><value>hdfs://mycluster/hbase</value></property>：设置 HBase 的根目录，即数据存储的根目录，本例中设置为 HDFS 上的路径。
  • <property><name>hbase.unsafe.stream.capability.enforce</name><value>true</value></property>：设置是否启用 HBase 流式 API 安全检查，如果设置为 true，HBase 将会禁止使用本地优化器和排序机制，对于非常大的数据量场景可能会影响性能。

      进入HBase根目录下的conf文件夹，修改regionServers配置文件,regionServers配置文件是指定hbase集群的hostname。路径下默认是有一个空内容的该文件。

        所有节点均采用以下配置内容 

vim RegionServers
[hadoop@vm02 conf]$ vim regionServersvm02
vm03
vm04

backup-masters文件配置

        该文件指定备节点为vm03,所有节点均采用以下配置内容 

[hadoop@vm02 conf]$ vim backup-mastersvm03

hbase-env.sh文件配置

        HBase 的环境变量配置文件是运行的基础运行变量文件。进入HBase根目录下的conf文件夹，修改hbase-env.sh配置文件。
        自带的该文件中有很多变量已做注释，可以通过AI得到对这些变量的理解，本文只设置两个值，其余值采用默认值。
        所有节点均采用以下配置内容 

export JAVA_HOME=/jdk/jdk1.8.0_144/
export HBASE_MANAGES_ZK=false

环境变量配置

        使用root用户编辑/etc/profile文件的环境变量。环境变量的命名中${JAVA_HOME}和$JAVA_HOME等同的，由于博主JDK以前设置的问题，以及安装了和Hadoop无关的postgresql数据库，设置了postgresql的相关变量。这里不做统一标准化处理了。读者了解即可。所有节点均采用以下配置内容

export JAVA_HOME=/jdk/jdk1.8.0_144/
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:/home/postgres/pg/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$PATH
export ZOOKEEPER_HOME=/home/hadoop/zookeeper
export PGDATA=/home/postgres/pg/data#HADOOP_HOME
export HADOOP_HOME=/home/hadoop/hadoop
export HBASE_HOME=/home/hadoop/hbase
export JAVA_HOME CLASSPATH PATH HADOOP_HOME ZOOKEEPER_HOME HBASE_HOME

#加载环境变量
source /etc/profile
##切换到hadoop用户下
su  - hadoop 
##编辑本用户环境变量添加source /etc/profile
[hadoop@vm02 ~]$ vim .bash_profile # .bash_profile# Get the aliases and functions
if [ -f ~/.bashrc ]; then. ~/.bashrc
fi# User specific environment and startup programsPATH=$PATH:$HOME/.local/bin:$HOME/bin
source /etc/profile
export PATH
~

 Hbase启动

        所有节点启动zookeeper

 zkServer.sh startzkServer.sh status

 

        主节点vm02启动hdfs，hbase

##打命令的时候使用tab键会有联想功能，如果没有联想成功，说明环境变量配置有问题
start-all.sh
start-hbase.sh

        使用jps在所有节点 

hbase客户端访问 

        客户端访问命令

hbase shell

        

        附加

hbase的性能变量

        hbase是基于jvm上运行的数据库，所以在性能有空间的情况下可以对其运行性能放大（jvm上运行的相关程序多数都有这方面的设置，这里以Hbase举例说明）。

export $HBASE_OPT ="$HBASE_OPT -Xmx9g -Xms8g -Xmn128M -XX:+UseParNewGC -XX:+UseConMarkSweepGC -XX:CMSInitiatingOccupancyFraction=70 --verbose:gc-XLoggc:${HBASE_HOME}/log/gc-hbase.log

各个参数的含义如下：

        -Xmx9g: 这个参数设置JVM的堆内存最大值为9GB。
        -Xms8g: 这个参数设置JVM的堆内存初始值为8GB。
        -Xmn128M: 这个参数设置年轻代（Young Generation）的大小为128MB。年轻代是Java堆内存中的一部分，主要存放新创建的对象。
        -XX:+UseParNewGC: 这个参数启用并行收集器（Parallel GC），并行收集器主要用于服务端，具有高吞吐量，适合后台应用。
        -XX:+UseConcMarkSweepGC: 这个参数启用CMS收集器（CMS GC），CMS收集器主要用于服务端，低停顿，但并发能力比不上并行收集器。
        -XX:CMSInitiatingOccupancyFraction=70: 这个参数设置CMS收集器的初始占有比例为70%。
        --verbose:gc: 这个参数启用GC的详细日志记录。
        -Xloggc:${HBASE_HOME}/log/gc-hbase.log: 这个参数设置GC的日志文件路径，用于记录GC的详细日志信息。
除了以上参数，还有很多其他的参数可以设置，这取决于你的需求和环境。例如，你可以设置其他的JVM参数，如-XX:MaxPermSize、-XX:+UseG1GC等。你也可以设置HBase的特定参数（不推荐），$HBASE_OPT变量重点还是指定JVM相关运行参数。

        注：博主对这个变量不感兴趣，不做举例说明。生产环境中需要根据服务器实际使用情况配置该变量，将其设置在每一个节点的环境变量文件中便可。

端口信息查看

        hadoop中相关组件和中间件比较多，在整个安装过程中都已经忘了哪些是对外服务的端口信息，这里记住两个查看端口号的指令

#查看对外开放的端口号
netstat -tulnss -tulpn

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/211019.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

nodejs+vue+ElementUi酒店餐饮客房点餐管理系统

nodejs+vue+ElementUi酒店餐饮客房点餐管理系统

系统非功能需求&#xff0c;只能是为了满足客户需求之外的非功能性要求。系统需要具有数据完整性验证的功能&#xff0c;对界面上非法的数据和不完整的数据进行提示&#xff0c;不能直接保存到数据库中&#xff0c;造成不完整性因素。运行软件:vscode 前端nodejsvueElementUi 语…
阅读更多...
VSCode 开发C/C++实用插件分享——codegeex

VSCode 开发C/C++实用插件分享——codegeex

VSCode 开发C/C实用插件分享——codegeex 一、codegeex 一、codegeex CodeGeeX 智能编程助手是一款编程插件&#xff0c;CodeGeeX支持多种主流IDE&#xff0c;如VS Code、IntelliJ IDEA、PyCharm、Vim等&#xff0c;同时&#xff0c;支持Python、Java、C/C、JavaScript、Go等多…
阅读更多...
LeetCode 2477. 到达首都的最少油耗：深度优先搜索(DFS)

LeetCode 2477. 到达首都的最少油耗：深度优先搜索(DFS)

【LetMeFly】2477.到达首都的最少油耗&#xff1a;深度优先搜索(DFS) 力扣题目链接&#xff1a;https://leetcode.cn/problems/minimum-fuel-cost-to-report-to-the-capital/ 给你一棵 n 个节点的树&#xff08;一个无向、连通、无环图&#xff09;&#xff0c;每个节点表示一…
阅读更多...
Doris 集成 ElasticSearch

Doris 集成 ElasticSearch

Doris-On-ES将Doris的分布式查询规划能力和ES(Elasticsearch)的全文检索能力相结合，提供更完善的OLAP分析场景解决方案： （1）ES中的多index分布式Join查询 （2）Doris和ES中的表联合查询，更复杂的全文检索过滤 1 原理 （1）创建ES外表后，FE会请求建表指定的主机，获取所有…
阅读更多...
Azure Machine Learning - 使用 Azure OpenAI 服务生成文本

Azure Machine Learning - 使用 Azure OpenAI 服务生成文本

使用 Azure OpenAI 服务生成文本 关注TechLead&#xff0c;分享AI全维度知识。作者拥有10年互联网服务架构、AI产品研发经验、团队管理经验&#xff0c;同济本复旦硕&#xff0c;复旦机器人智能实验室成员&#xff0c;阿里云认证的资深架构师&#xff0c;项目管理专业人士&…
阅读更多...
一文读懂中间件

一文读懂中间件

前言&#xff1a;在程序猿的日常工作中&#xff0c; 经常会提到中间件&#xff0c;然而大家对中间件的理解并不一致&#xff0c;导致了一些不必要的分歧和误解。“中间件”一词被用来描述各种各样的软件产品&#xff0c;在不同文献中有着许多不同的中间件定义&#xff0c;包括操…
阅读更多...
Linux--初识和基本的指令（3）

Linux--初识和基本的指令（3）

目录 1.前言 1.指令 1.1 cat指令 1.2 echo指令 1.3 more 指令 1.4 less指令 1.5 什么时候使用less和more 1.6 head指令 1.7 tail指令 1.8 wc指令 1.9 与时间相关的指令 1.9.1 date指令 1.9.2 cal指令 1.10 16.find指令&#xff1a;&#xff08;灰常重要&#x…
阅读更多...
RPG项目01_脚本代码

RPG项目01_脚本代码

基于“RPG项目01_场景及人物动画管理器”&#xff0c;我们创建一个XML文档 在资源文件夹下创建一个文件夹&#xff0c; 命名为Xml 将Xnl文档拖拽至文件夹中&#xff0c; 再在文件夹的Manager下新建脚本LoadManager 写代码&#xff1a; using System.Collections; using System…
阅读更多...
7、Qt延时的使用

7、Qt延时的使用

一、说明 平时用到两种延时方式QThread::sleep()和QTimer::singleShot() 1、QThread::sleep() QThread类中如下三个静态函数&#xff1a; QThread::sleep(n); //延迟n秒 QThread::msleep(n); //延迟n毫秒 QThread::usleep(n); //延迟n微妙 这种方式使用简单&#xff0c;但是会阻…
阅读更多...
四.多表查询

四.多表查询

多表查询 1.一个案例引发的多表连接1.1案例说明1.2 笛卡尔积&#xff08;或交叉连接&#xff09;的理解1.3案例分析与问题解决 2.多表查询分类讲解分类1&#xff1a;等值连接vs非等值连接分类2&#xff1a;自连接vs非自连接分类3&#xff1a;内连接vs外连接 3.SQL99语法实现多表…
阅读更多...
【【FPGA 之 MicroBlaze XADC 实验】】

【【FPGA 之 MicroBlaze XADC 实验】】

FPGA 之 MicroBlaze XADC 实验 Vivado IP 核提供了 XADC 软核&#xff0c;XADC 包含两个模数转换器&#xff08;ADC&#xff09;&#xff0c;一个模拟多路复用器&#xff0c;片上温度和片上电压传感器等。我们可以利用这个模块监测芯片温度和供电电压&#xff0c;也可以用来测…
阅读更多...
在AWS Lambda上部署标准FFmpeg工具——自定义层的方案

在AWS Lambda上部署标准FFmpeg工具——自定义层的方案

大纲 1 确定Lambda运行时环境1.1 Lambda系统、镜像、内核版本1.2 运行时1.2.1 Python1.2.2 Java 2 打包FFmpeg3 创建Lambda的Layer4 测试4.1 创建Lambda函数4.2 附加FFmpeg层4.3 添加测试代码4.4 运行测试 参考文献 FFmpeg被广泛应用于音/视频流处理领域。对于简单的需求&#…
阅读更多...
sizeof()、strlen()、length()、size()的区别（笔记）

sizeof()、strlen()、length()、size()的区别（笔记）

​ 上面的笔记有点简陋&#xff0c;可以看一下下面这个博主的&#xff1a; c/c中sizeof()、strlen()、length()、size()详解和区别_csize,sizeof,length_xuechanba的博客-CSDN博客
阅读更多...
Linux Docker 图形化工具 Portainer远程访问

Linux Docker 图形化工具 Portainer远程访问

文章目录 前言1. 部署Portainer2. 本地访问Portainer3. Linux 安装cpolar4. 配置Portainer公网访问地址5. 公网远程访问Portainer6. 固定Portainer公网地址 结束语 前言 Portainer是一个轻量级的容器管理工具&#xff0c;可以通过Web界面对Docker容器进行管理和监控。它提供了…
阅读更多...
Kafka中的Topic

Kafka中的Topic

在Kafka中&#xff0c;Topic是消息的逻辑容器&#xff0c;用于组织和分类消息。本文将深入探讨Kafka Topic的各个方面&#xff0c;包括创建、配置、生产者和消费者&#xff0c;以及一些实际应用中的示例代码。 1. 介绍 在Kafka中&#xff0c;Topic是消息的逻辑通道&#xff0…
阅读更多...
LeetCode-478. 在圆内随机生成点【几何 数学 拒绝采样 随机化】

LeetCode-478. 在圆内随机生成点【几何 数学 拒绝采样 随机化】

LeetCode-478. 在圆内随机生成点【几何 数学 拒绝采样 随机化】 题目描述&#xff1a;解题思路一&#xff1a;一个最简单的方法就是在一个正方形内生成随机采样的点&#xff0c;然后拒绝不在内切圆中的采样点。解题思路二&#xff1a;具体思想是先生成一个0到r的随机数len&…
阅读更多...
加强网站稳定性！学习如何进行高效压力测试！

加强网站稳定性！学习如何进行高效压力测试！

前言 1、什么是压力测试&#xff1f; 软件压力测试是一种基本的质量保证行为&#xff0c;它是每个重要软件测试工作的一部分。 软件压力测试的基本思路很简单&#xff1a;不是在常规条件下运行手动或自动测试&#xff0c;而是在计算机数量较少或系统资源匮乏的条件下运行测试…
阅读更多...
k8s之镜像拉取时使用secret

k8s之镜像拉取时使用secret

k8s之secret使用 一、说明二、secret使用2.1 secret类型2.2 创建secret2.3 配置secret 一、说明 从公司搭建的网站镜像仓库&#xff0c;使用k8s部署服务时拉取镜像失败&#xff0c;显示未授权&#xff1a; 需要在拉取镜像时添加认证信息. 关于secret信息,参考: https://www.…
阅读更多...
AntDesignBlazor示例——创建项目

AntDesignBlazor示例——创建项目

本示例是AntDesign Blazor的入门示例&#xff0c;在学习的同时分享出来&#xff0c;以供新手参考。 示例代码仓库&#xff1a;https://gitee.com/known/AntDesignDemo 1. 开发环境 VS2022 17.8.2.NET8AntDesign 0.16.2 2. 学习目标 创建新项目安装AntDesign组件包及使用方…
阅读更多...
2D与3D图形的基本变换

2D与3D图形的基本变换

1. 2d transformations 1.1缩放(Scaling) 其实这个转换非常简单&#xff0c;如图所示就是把x与y进行s倍的缩放&#xff0c;而我们图中的这个矩阵正好满足这一算法。 1.2镜像(Reflection) 这个镜像变换可以和上面的做类比&#xff0c;简单看一下就行。 1.3错切(Shearing) 当然…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023