文章目录
4. 分布式数据库HBase
4.1 HBase简介
- HBase是BigTable的开源实现
-
对于网页搜索主要分为两个阶段
-
1.建立整个网页索引:设计网页爬虫,爬取的网页存入BigTable中,在上面运行MapReduce
-
2.搜索互联网网页
-
-
BigTable诞生?
-
Bigtable是在GFS的基础上实现的
-
为什么分布式存储系统可以得到广泛的关注?
- 它具有非常好的性能(可以支持PB级别的数据)
- 它具有非常好的可扩展性(用集群去存储几千台服务器完成分布式存储)
-
HBase特点:高可能、高性能、面向列、可伸缩
-
HBase:通过水平扩展的方式,允许几千台服务器去存储海量文件
-
HBase和BigTable的底层技术对应关系
-
为什么需要设计HBase这么一个数据库产品?
-
虽然已经有了HDFS和MapReduce,但是Hadoop主要解决大规模数据离线批量处理,Hadoop无法满足大数据实时处理需求。
-
随着这些年数据的大规模爆炸式增长,传统关系型数据库的扩展能力非常有限,即使通过设计主从复制方案或者分库的方式,仍然有两个缺陷,一个是不便利,另一个是效率非常低
-
-
传统关系型数据库如何进行数据规模化扩展:
-
设计主从复制方案,由主服务器负责接收写请求,若干从服务器都是主服务器的副本,从服务器接收外界的读请求,这样可以实现数据库在性能上的一定扩展
-
做分库:对企业内部数据进行分库,将写负载分流
-
-
Hbase和传统关系型数据库有什么联系和区别?
-
数据类型方面,传统关系数据库用的是非常经典的关系数据模型
-
数据操作方面,在关系数据库中定了非常多的数据操作,查找,插入,删除等
-
存储模式方面,关系数据库基于行模式存储,而对于HBase来讲是基于列存储
-
在数据索引方面,关系数据库可以直接针对各个不同的列,构建非常复杂的索引
-
数据维护方面,在关系数据库当中做一些数据更新操作的时候,实际上里面旧的值会被新的值覆盖掉;而HBase生成新的版本,旧的版本仍然存在,不会被替换
-
可伸缩性方面,关系数据库是很难实现水平扩展的,最多可以实现纵向扩展
-
-
HBase访问接口
4.2 HBase数据模型
-
HBase是一个稀疏的多维度的排序的映射表:包含行键,列族,列限定符,时间戳
-
HBase特点
-
列族的特性
-
支持动态扩展:可以对列族进行增加或者减少
-
保留旧的版本:执行数据更新操作的时候,会保留旧版本
-
HBase以表的形式组织数据,与关系型数据库的区别:关系型数据库会对其进行规范化处理,根据第一范式、第二范式、第三范式,将 表进行不断分解,最后需要对表进行多表连接;HBase不考虑冗余,牺牲空间去避免表连接操作带来的效率问题
-
-
列限定符(列)
- 实际过程中可以动态增加或者减少列
-
单元格:具体存储数据的地方
-
时间戳:新的版本会通过时间戳进行确定
-
数据坐标的定位:必须通过四维:行键、列族、列限定符、时间戳来定位数据位置
-
HBase数据的概念视图
- 列族名称:具体列限定符=“”
- 在概念上HBase数据是稀疏的,因为很多单元格是空白的
-
HBase数据的物理视图:是按照列族进行存储的
-
传统关系型数据库是行式存储,而HBase是列式存储
-
行式数据库和列式数据库示意图
-
面向行的存储有什么优势和缺点
-
列式存储的优点
- 列式存储:按照一个列去存储,可以带来很高的数据压缩率,适用于以分析型应用为主的场景
- 行式存储:不可能达到很高的数据压缩率,适合事务型操作比较多的场景
4.3 HBase的实现原理
-
HBase的功能组件:Master服务器、库函数、Reigion服务器
-
库函数:链接每个客户端
-
Master服务器:充当管家作用
-
Region服务器:负责存储不同的Region
-
客户端在获取Region位置信息之后,直接和Region服务器进行打交道
-
-
-
HBase的表和Region的关系
-
初始化的时候将一个HBase表划分为多个Region,随着表的增大,Region规模增加,会分裂成多个新的Region,分裂时只需要修改指向信息,是非常快速的
-
-
Region到底被存到哪里去了?
-
HBase的三层结构
-
Root表在一个Region机器上,存储的元数据信息,即META表的位置
-
META表存储的是用户数据存储的位置
-
Root表的地址是写死在Zookeeper中的
为了加速寻址,客户端会缓存位置信息,但同时需要解决缓存失效问题,它会先通过缓存查找数据,若找不到数据,则判定缓存失效,需要重新进行三级寻址
-
三层结构中各层次的名称和作用
-
Region的定位
-
4.4 HBase运行机制
-
HBase的系统架构
-
客户端:访问HBase的接口,为了加快访问速度,会进行位置地址的缓存
-
Zookeeper服务器:实现协同管理服务,其被大量用于分布式系统,提供配置维护,域名服务,分布式同步服务等,在HBase中,其主要提供管家功能,维护和管理整个HBase集群
-
Master服务器(主服务器):负责对HBase的表的增删改查;负责不同Region服务器的负载均衡;负责调整分裂、合并后Region的分布;负责重新分配故障、失效的Region服务器,也要借助Master来进行重新分配
-
Region服务器:负责用户数据的存储和管理,其负责向HDFS文件系统中读写数据
- Region服务器集群由多个Region服务器构成,每个Region服务器中有多个组件
- 若干个Region共用一个HLog文件
- 每个Region中的每个列族会单独构成一个Store进行存储:会先存储到MemStore缓存中,缓存满了在存储到StoreFile文件中
- StoreFile是HBase的表现形式,它在底层是借助HDFS存储的,其在HDFS中以HFile的格式存储
-
-
用户读写数据过程
-
写入数据
-
首先将数据写入MemStore缓存区
-
为了保存数据不丢失,会在写入Memstore前,会先写入HLog日志,当HLog数据写入到磁盘之后,才允许返回客户端
-
-
读取数据
-
首先用户也会先访问MemStore,因为最新写入的数据会存储于MemStore中
-
若MemStore查找不到,会到磁盘的StoreFile中去找相关数据
-
-
-
缓存刷新过程
-
StoreFile文件的合并
-
刷写可能导致多个StoreFile文件,遍历StoreFile文件找数据,文件越多会影响查找速度,因此将多个StoreFile文件合并为一个大的StoreFile文件
-
-
StoreFile的分裂
-
StoreFile的不断合并可能会导致StoreFile的文件越来越大,当合并的StoreFile越大的时候,就会引发分裂操作
-
-
HLog的工作原理
-
HBase的底层是廉价的低端机,因此需要通过日志的发生来恢复故障
-
HBase为每个Region服务器都配置了公共的HLog
-
故障恢复
- Zookeeper来监视整个集群,会通知Master出问题的服务器,需要将故障服务器的内容迁移
- Master会将故障服务器的HLog文件取出,包含故障服务器的各个Region对象以及日志记录
- 然后对HLog的日志记录拆解为不同的Region的日志记录(因为所有的Region的日志都记录在HLog中)
- 最后将这些Region分配到其他可用的Region服务器上去
-
为何不每个Region设置单独的HLog文件
- 因为这样对于每个Region的更新操作,需要写入不同的HLog文件,是非常耗时的,而且集群出故障的时间远少于正常运行的时间
- 所有公共的HLog文件的可以大大提升写入性能
-
4.5 HBase的应用方案
-
HBase在实际应用中的性能优化方法
-
若想把时间靠近的数据存在一起:
-
提升读写性能:
-
节省存储空间
-
将到达时间限制的一些数据清楚,即使它没有到达版本最大数
-
-
HBase如何检测性能
-
可以通过以下几种工具:Master-status、Ganglia、OpenTSDB、Ambari
-
Master-staus
-
Ganglia
-
OpenTSDB
-
Ambari
-
-
-
SQL语句查询HBase上相关数据
-
SQL易于使用,大部分人对HBase比较陌生,但是对SQL比较熟悉;
-
HBase原生代码查询数据编写代码较多,SQL是非过程语言,很多系统的底层会帮它生成相关操作
-
Hive和Phoenix
-
-
构建HBase二级索引
-
原生的HBase不支持对于各个列构建相关的索引,默认支持对rowkey行键进行索引
-
HBase0.92版本引入新特性:Coprocessor,可以支持二级索引
-
Coprocessor如何构建二级索引
-
其提供两个实现:endpoint和observer
-
Endpoint相当于关系型数据库的存储过程,observer相当于触发器
-
每次往HBase表中插入数据时,observer会监测到,会将插入的数据同步写到索引表
-
-
此时在HBase中就存在了主表和索引表
- 索引表不是HBase内部自身的,是由其他产品帮其构建的二级索引,是通过Coprocessor格外开发的程序,对不同的其他列进行索引
-
Coprocessor构建二级索引的优点和缺点
- 优点:非侵入性,引擎构建在HBase之上,既没有对HBase进行任何改动,也不需要上层应用做任何妥协
- 缺点:每插入一条数据需要向索引表插入数据,即耗时是双倍的,对HBase的集群压力也是双倍的
-
-
HBase的应用方案
-
Redis的方案:将索引写入到Redis的缓存数据库中,定期的把索引更新到HBase底层数据库,可以避免频繁更新磁盘索引表的问题
-
Solr+HBase:Solr服务器构建其他列和行键之间的对应关系,输入其他列的某一个值,可以快速找到这个列对应的行键,通过行键快速找到HBase记录
-
4.6 HBase安装和编程实战
见:HBase2.5.4安装和编程实践指南_厦大数据库实验室博客 (xmu.edu.cn)