Hbase简介和快速入门

一 Hbase简介

1 HBase定义

Apache HBase™ 是以hdfs为数据存储的，一种分布式、可扩展的NoSQL数据库。

2 HBase数据模型

  HBase的设计理念依据Google的BigTable论文，论文中对于数据模型的首句介绍。Bigtable 是一个稀疏的、分布式的、持久的多维排序map。
  之后对于映射的解释如下：该映射由行键、列键和时间戳索引；映射中的每个值都是一个未解释的字节数组。
  最终HBase关于数据模型和BigTable的对应关系如下：HBase 使用与 Bigtable 非常相似的数据模型。用户将数据行存储在带标签的表中。数据行具有可排序的键和任意数量的列。该表存储稀疏，因此如果用户喜欢，同一表中的行可以具有疯狂变化的列。
  最终理解HBase数据模型的关键在于稀疏、分布式、多维、排序的映射。其中映射map指代非关系型数据库的key-Value结构。

3 HBase逻辑结构

   HBase可以用于存储多种结构的数据，以JSON为例，存储的数据原貌为：

"row_key1":{"personal_info":{"name":"zhangsan","city":"北京","phone":"131********"},"office_info":{"tel":"010-1111111","address":"五环"}},"row_key11":{"personal_info":{"city":"上海","phone":"132********"},"office_info":{"tel":"010-1111111"}},"row_key2":{......
}

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4 HBase物理存储结构

物理存储结构即为数据映射关系，而在概念视图的空单元格，底层实际根本不存储
在这里插入图片描述

5 数据模型

1）Name Space

命名空间，类似于关系型数据库的database概念，每个命名空间下有多个表。HBase两个自带的命名空间，分别是hbase和default，hbase中存放的是HBase内置的表，default表是用户默认使用的命名空间。

2）Table

   类似于关系型数据库的表概念。不同的是，HBase定义表时只需要声明列族即可，不需要声明具体的列。因为数据存储时稀疏的，所有往HBase写入数据时，字段可以动态、按需指定。因此，和关系型数据库相比，HBase能够轻松应对字段变更的场景。

3）Row

   HBase表中的每行数据都由一个RowKey和多个Column（列）组成，数据是按照RowKey的字典顺序存储的，并且查询数据时只能根据RowKey进行检索，所以RowKey的设计十分重要。

4）Column

  HBase中的每个列都由Column Family(列族)和Column Qualifier（列限定符）进行限定，例如info：name，info：age。建表时，只需指明列族，而列限定符无需预先定义。

5）Time Stamp

  用于标识数据的不同版本（version），每条数据写入时，系统会自动为其加上该字段，其值为写入HBase的时间。

6）Cell

  由{rowkey, column Family：column Qualifier, timestamp} 唯一确定的单元。cell中的数据全部是字节码形式存贮。

6 HBase基本架构

在这里插入图片描述
架构角色：

1）Master

   实现类为HMaster，负责监控集群中所有的 RegionServer 实例。主要作用如下：

  1. 管理元数据表格hbase:meta，接收用户对表格创建修改删除的命令并执行
  2. 监控region是否需要进行负载均衡，故障转移和region的拆分。

   通过启动多个后台线程监控实现上述功能：

  1. LoadBalancer负载均衡器：周期性监控region分布在regionServer上面是否均衡，由参数hbase.balancer.period控制周期时间，默认5分钟。
  2. CatalogJanitor元数据管理器：定期检查和清理hbase:meta中的数据。meta表内容在进阶中介绍。
  3. MasterProcWAL master预写日志处理器：把master需要执行的任务记录到预写日志WAL中，如果master宕机，让backupMaster读取日志继续干。

2）Region Server

   Region Server实现类为HRegionServer，主要作用如下:

  1. 负责数据cell的处理，例如写入数据put，查询数据get等
  2. 拆分合并region的实际执行者，有master监控，有regionServer执行。

3）Zookeeper

   HBase通过Zookeeper来做master的高可用、记录RegionServer的部署信息、并且存储有meta表的位置信息。
   HBase对于数据的读写操作是直接访问Zookeeper的，在2.3版本推出Master Registry模式，客户端可以直接访问master。使用此功能，会加大对master的压力，减轻对Zookeeper的压力。

4）HDFS

   HDFS为Hbase提供最终的底层数据存储服务，同时为HBase提供高容错的支持。

二 Hbase安装

1 依赖环境

   需要正常部署zookeeper和hadoop集群

2 HBase的解压

1）解压Hbase到指定目录

[mayx@hadoop201 module]$ tar -zxvf hbase-2.4.11-bin.tar.gz -C /opt/module/
[mayx@hadoop201 module]$ mv /opt/module/hbase-2.4.11 /opt/module/hbase

2）配置环境变量

[mayx@hadoop201 module]$ sudo vim /etc/profile.d/my_env.sh#HBASE_HOME
export HBASE_HOME=/opt/module/hbase
export PATH=$PATH:$HBASE_HOME/bin

3）使用source让配置的环境变量生效

[mayx@hadoop201 module]$ source /etc/profile.d/my_env.sh

3 HBase的配置文件

1）hbase-env.sh修改内容，可以添加到最后：

export HBASE_MANAGES_ZK=false

2）hbase-site.xml修改内容：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>hbase.zookeeper.quorum</name><value>hadoop201,hadoop202,hadoop203</value><description>The directory shared by RegionServers.</description></property><property><name>hbase.rootdir</name><value>hdfs://hadoop201:8020/hbase</value><description>The directory shared by RegionServers.</description></property><property><name>hbase.cluster.distributed</name><value>true</value></property><property><name>hbase.wal.provider</name><value>filesystem</value></property></configuration>

3）regionservers

hadoop201
hadoop202
hadoop203

4）解决HBase和Hadoop的log4j兼容性问题

   修改HBase的jar包，使用Hadoop的jar包

[mayx@hadoop201 module]$ mv /opt/module/hbase/lib/client-facing-thirdparty/slf4j-reload4j-1.7.33.jar /opt/module/hbase/lib/client-facing-thirdparty/slf4j-reload4j-1.7.33.jar.bak

5） HBase远程发送到其他集群

[mayx@hadoop201 module]$ xsync hbase/

   xsync命令如下

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
thenecho Not Enough Arguement!exit;
fi#2. 遍历集群所有机器
for host in hadoop201 hadoop202 hadoop203
doecho ==================== $host ====================#3. 遍历所有目录，挨个发送for file in $@do#4. 判断文件是否存在if [ -e $file ]then#5. 获取父目录pdir=$(cd -P $(dirname $file); pwd)#6. 获取当前文件的名称fname=$(basename $file)ssh $host "mkdir -p $pdir"rsync -av $pdir/$fname $host:$pdirelseecho $file does not exists!fidone
done

4 HBase服务的启动和关闭

1）群启服务

[mayx@hadoop201 module]$ bin/start-hbase.sh

查看HBase页面：http://hadoop201:16010
在这里插入图片描述

2）停止服务

[mayx@hadoop201 module]$ bin/stop-hbase.sh

三 HBase Shell操作

1 基本操作

1）进入HBase客户端命令行

[mayx@hadoop201 hbase]$ bin/hbase shell

2）查看帮助命令

   能够展示HBase中所有能使用的命令，主要使用的命令有namespace命令空间相关，DDL创建修改表格，DML写入读取数据

hbase:001:0> help

在这里插入图片描述

2 namespace

1）创建命名空间

   使用特定的help语法能够查看命令如何使用

hbase:002:0> help 'create_namespace'

在这里插入图片描述

2）创建命名空间bigdata

hbase:003:0> create_namespace 'bigdata'

3）查看所有的命名空间

hbase:004:0> list_namespace

3 DDL

1）创建表

   在bigdata命名空间中创建表格student，两个列族。info列族数据维护的版本数为5个，如果不写默认版本数为1

hbase:005:0> create 'bigdata:student', {NAME => 'info', VERSIONS => 5}, {NAME => 'msg'}

   如果创建表格只有一个列族，没有列族属性，可以简写。
   如果不写命名空间，使用默认的命名空间default。

hbase:009:0> create 'student1','info'

2）查看表

   list：查看所有的表名

hbase:013:0> list

   describe：查看一个表的详情

hbase:014:0> describe 'student1'

3）修改表

   表名创建时写的所有和列族相关的信息，都可以后续通过alter修改，包括增加删除列族。
   增加列族和修改信息都使用覆盖的方法

hbase:015:0> alter 'student1',  {NAME => 'f1', VERSIONS => 3}

   删除信息使用特殊的语法

hbase:015:0> alter 'student1', NAME => 'f1', METHOD => 'delete'
hbase:016:0> alter 'student1', 'delete' => 'f1'

4）删除表

   shell中删除表格,需要先将表格状态设置为不可用。

hbase:017:0> disable 'student1'
hbase:018:0> drop 'student1'

4 DML

1）写入数据

   在HBase中如果想要写入数据，只能添加结构中最底层的cell。可以手动写入时间戳指定cell的版本，推荐不写默认使用当前的系统时间。如果重复写入相同rowKey，相同列的数据，会写入多个版本进行覆盖。

hbase:019:0> put 'bigdata:student','1001','info:name','zhangsan'
hbase:020:0> put 'bigdata:student','1001','info:name','lisi'
hbase:021:0> put 'bigdata:student','1001','info:age','18'

2）读取数据

   读取数据的方法有两个：get和scan。
   get最大范围是一行数据，也可以进行列的过滤，读取数据的结果为多行cell。

hbase:022:0> get 'bigdata:student','1001'
hbase:023:0> get 'bigdata:student','1001' , {COLUMN => 'info:name'}

   也可以修改读取cell的版本数，默认读取一个。最多能够读取当前列族设置的维护版本数。

hbase:024:0>get 'bigdata:student','1001' , {COLUMN => 'info:name', VERSIONS => 6}

   scan是扫描数据，能够读取多行数据，不建议扫描过多的数据，推荐使用startRow和stopRow来控制读取的数据，默认范围左闭右开。

hbase:025:0> scan 'bigdata:student',{STARTROW => '1001',STOPROW => '1002'}

3）删除数据

   删除数据的方法有两个：delete和deleteall。
delete表示删除一个版本的数据，即为1个cell，不填写版本默认删除最新的一个版本。

hbase:026:0> delete 'bigdata:student','1001','info:name'

   deleteall表示删除所有版本的数据，即为当前行当前列的多个cell。（执行命令会标记数据为要删除，不会直接将数据彻底删除，删除数据只在特定时期清理磁盘时进行）

hbase:027:0> deleteall 'bigdata:student','1001','info:name'

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/386838.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【JAVA学习笔记】找不到依赖项 ‘org.springframework.boot:spring-boot-starter-web:3.0.5‘

【JAVA学习笔记】找不到依赖项 ‘org.springframework.boot:spring-boot-starter-web:3.0.5‘

如果环境都是跟着教程配的话&#xff0c;并且上网搜了一圈询问gpt都没发现对应长得像的错误&#xff0c;那么试试刷新一下Maven项目&#xff0c;可能问题就自己解决了。如果这样解决不了再查到底是什么地方没有配置对。 &#xff08;我第一次遇到这个问题的时候搜了半天都不知…
阅读更多...
【ROS 最简单教程 002/300】ROS 集成开发环境安装 (虚拟机版): Noetic

【ROS 最简单教程 002/300】ROS 集成开发环境安装 (虚拟机版): Noetic

&#x1f497; 有遇到安装问题可以留言呀 ~ 当时踩了挺多坑&#xff0c;能帮忙解决的我会尽力 &#xff01; 1. 安装操作系统环境 Linux ❄️ VM / VirtualBox Ubuntu20.04 &#x1f449; 保姆级图文安装教程指路&#xff0c;有经验的话 可以用如下资源自行安装 ITEMREFERENCE…
阅读更多...
【Windows】Mountain Duck（FTP服务器管理工具）软件介绍

【Windows】Mountain Duck（FTP服务器管理工具）软件介绍

软件介绍 Mountain Duck是一款基于Cyberduck开发的应用程序&#xff0c;它允许用户通过FTP、SFTP、WebDAV、S3和OpenStack Swift等协议连接到云存储和远程服务器&#xff0c;并在本地文件浏览器中以熟悉的方式访问和管理这些文件。 功能特点 支持多种协议: Mountain Duck支持…
阅读更多...
Unity和WebGL交互-2024/7/30

Unity和WebGL交互-2024/7/30

进入项目 1 新建一个.jslib的文件 2 放到项目内Plugins文件夹下 3 可以用vscode之类的编译器打开这个文件 编写内容 mergeInto(LibraryManager.library, {// 方法名必须和c#中的相同// 有参数 需要用UTF8ToString&#xff08;&#xff09;OnInitSDK:function(str) {window.OnIn…
阅读更多...
vue自写组件可输入，可下拉选择，因为el-autocomplete数据多了会卡

vue自写组件可输入，可下拉选择，因为el-autocomplete数据多了会卡

<!-- 引入组件 --><AutoCompletev-model"scope.row.strreceivername":lngemployeeid"scope.row.lngreceiverid"select"handleSelect($event,scope.row)"/> methods:{handleSelect(item, row) {row.lngreceiverid item.lngemployeei…
阅读更多...
项目实战——外挂开发（30小时精通C++和外挂实战）

项目实战——外挂开发（30小时精通C++和外挂实战）

项目实战——外挂开发&#xff08;30小时精通C和外挂实战&#xff09; 外挂开发1-监控游戏外挂开发2-秒杀僵尸外挂开发3-阳光地址分析外挂开发4-模拟阳光外挂开发5-无限阳光 外挂开发1-监控游戏 外挂的本质 有两种方式 1&#xff0c;修改内存中的数据 2&#xff0c;更改内存中…
阅读更多...
从零开始学习网络安全渗透测试之基础入门篇——（二）Web架构前后端分离站Docker容器站OSS存储负载均衡CDN加速反向代理WAF防护

从零开始学习网络安全渗透测试之基础入门篇——（二）Web架构前后端分离站Docker容器站OSS存储负载均衡CDN加速反向代理WAF防护

Web架构 Web架构是指构建和管理Web应用程序的方法和模式。随着技术的发展&#xff0c;Web架构也在不断演进。当前&#xff0c;最常用的Web架构包括以下几种&#xff1a; 单页面应用&#xff08;SPA&#xff09;&#xff1a; 特点&#xff1a;所有用户界面逻辑和数据处理都包含…
阅读更多...
火山引擎VeDI数据技术分享：两个步骤，为Parquet降本提效

火山引擎VeDI数据技术分享：两个步骤，为Parquet降本提效

更多技术交流、求职机会&#xff0c;欢迎关注字节跳动数据平台微信公众号&#xff0c;回复【1】进入官方交流群 作者&#xff1a;王恩策、徐庆 火山引擎 LAS 团队 火山引擎数智平台 VeDI 是火山引擎推出的新一代企业数据智能平台&#xff0c;基于字节跳动数据平台多年的“数据…
阅读更多...
[Javascript】前端面试基础3【每日学习并更新10】

[Javascript】前端面试基础3【每日学习并更新10】

Web开发中会话跟踪的方法有那些 cookiesessionurl重写隐藏inputip地址 JS基本数据类型 String&#xff1a;用于表示文本数据。Number&#xff1a;用于表示数值&#xff0c;包括整数和浮点数。BigInt&#xff1a;用于表示任意精度的整数。Boolean&#xff1a;用于表示逻辑值…
阅读更多...
认证授权概述和SpringSecurity安全框架快速入门

认证授权概述和SpringSecurity安全框架快速入门

1. 认证授权的概述 1.1 什么是认证 进入移动互联网时代&#xff0c;大家每天都在刷手机&#xff0c;常用的软件有微信、支付宝、头条、抖音等 以微信为例说明认证的相关基本概念。在初次使用微信前需要注册成为微信用户&#xff0c;然后输入账号和密码即可登录微信&#xff0c…
阅读更多...
git 推送时出现错误 Locking support detected on remote “origin“

git 推送时出现错误 Locking support detected on remote “origin“

背景&#xff1a;代码托管是局域网搭建的gitlab 按照提示配置 lfs.locksverify true 还是没有用。 网上搜索了一番&#xff0c;其中有人提到可能时服务器磁盘满了&#xff0c;连到服务器上 df -h 查看&#xff0c; 发现根目录已经写满了&#xff1a; 使用命令行&#xff1a; d…
阅读更多...
scipy.fft.fft函数与scipy.fft.rfft函数的异同

scipy.fft.fft函数与scipy.fft.rfft函数的异同

import numpy as np from scipy import signal import matplotlib.pyplot as plt思路&#xff1a;1&#xff09;先利用fft计算得出其幅频值2&#xff09;在利用rfft计算得出其幅频值&#xff0c;看1&#xff09;和2&#xff09;那个能还原出信号的原始幅值# 生成一个示例信号 n…
阅读更多...
c#实际开发长到的知识

c#实际开发长到的知识

基础科普： 个人建议先把rotion的库导入进来再操作，具体需要导入的库有，helper库包含了modbus通讯封装好的模块，而mvvm则可以用来做设计mvvm模块，你可以使用里面封装好的实现方法，用起来特别简单更容易实现其中的操作，但是我担心那天被卡脖子了啊啊啊，要是我罗工把库下…
阅读更多...
【CTFHub】文件上传漏洞详解！

【CTFHub】文件上传漏洞详解！

Webshell&#xff1a; 又称一句话木马。WebShell就是以网页文件形式存在的一种代码执行环境&#xff0c;主要用于网站管理、服务器管理、权限管理等操作。 WebShell根据不同的语言分为:ASP木马、PHP木马、JSP木马(上传解析类型取决于网站服务端编写语言类)&#xff0c;该类木马…
阅读更多...
（二）延时任务篇——通过redis的key监听，实现延迟任务实战

（二）延时任务篇——通过redis的key监听，实现延迟任务实战

前言 本节内容是关于使用redis的过期key&#xff0c;通过开启其监听失效策略&#xff0c;模拟订单延迟任务的执行流程。其核心原理是通过使用redis订阅与发布的方式&#xff0c;将过期失效的key通过广播的方式&#xff0c;发布给客户端&#xff0c;客户端可以监听此消息进而消…
阅读更多...
LNMP动态网站环境部署

LNMP动态网站环境部署

1、LINUX部署 stop firewallddisable selinux 2、Nginx部署 ​ vim /etc/yum.repos.d/nginx.repo [nginx-stable] namenginx stable repo baseurlhttp://nginx.org/packages/centos/$releasever/$basearch/ gpgcheck1 enabled1 gpgkeyhttps://nginx.org/keys/nginx_signing.…
阅读更多...
【前端 · 面试 】JavaScript 之你不一定会的基础题（一）

【前端 · 面试 】JavaScript 之你不一定会的基础题（一）

最近我在做前端面试题总结系列&#xff0c;感兴趣的朋友可以添加关注&#xff0c;欢迎指正、交流。 争取每个知识点能够多总结一些&#xff0c;至少要做到在面试时&#xff0c;针对每个知识点都可以侃起来&#xff0c;不至于哑火。 JavaScript 之你不一定会的基础题 前言 面试往…
阅读更多...
Windows蓝屏问题解决（电脑只要安装了VPN_SV独立客户端）必蓝屏

Windows蓝屏问题解决（电脑只要安装了VPN_SV独立客户端）必蓝屏

一、SERNEL_SECURITY_CHECK_FAILURE (139) 蓝屏分析 官方介绍蓝屏现象&#xff0c;官方Windows为了保护电脑&#xff0c;出现故障&#xff0c;自动蓝屏&#xff0c;避免损坏电脑的一种现象&#xff0c;别名buckcheck、蓝屏。 100%复现软件&#xff1a;天融信VPN&#xff0c;同事…
阅读更多...
为了方便写CURD代码，我在UTools写了个插件SqlConvert来生成代码！

为了方便写CURD代码，我在UTools写了个插件SqlConvert来生成代码！

-1. 前言 为了方便摸鱼&#xff0c;我之前写过一个通过sql生成代码的工具&#xff0c;但是服务器到期了&#xff0c;也就懒得重新部署了。 技术框架是 SpringBoot MybatisPlus Velocity Vue ElementUI Sql-ParseeSql-Parser-ui 0. Utools应用安装 官网地址: https://u.too…
阅读更多...
【HZHY-AI300G智能盒试用连载体验】使用YOLOv8进行车辆流量监测

【HZHY-AI300G智能盒试用连载体验】使用YOLOv8进行车辆流量监测

目录 YOLOv8的RKNN模型 程序的部署 流量统计 本文首发于电子发烧友论坛&#xff1a;【新提醒】【HZHY-AI300G智能盒试用连载体验】 智能工业互联网网关 - 北京合众恒跃科技有限公司 - 电子技术论坛 - 广受欢迎的专业电子论坛! (elecfans.com) 环境准备好之后&#xff0c;接…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023