HBase基础知识（五）：HBase 对接 Hadoop 的 MapReduce

通过 HBase 的相关 JavaAPI，我们可以实现伴随 HBase 操作的 MapReduce 过程，比如使用 MapReduce 将数据从本地文件系统导入到 HBase 的表中，比如我们从 HBase 中读取一些原 始数据后使用 MapReduce 做数据分析。

1 官方 HBase-MapReduce

1．查看 HBase 的 MapReduce 任务的执行

./bin/hbase mapredcp
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/module/hbase-1.3.1/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/module/hadoop-3.1.3/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
/opt/module/hbase-1.3.1/lib/zookeeper-3.4.6.jar:/opt/module/hbase-1.3.1/lib/guava-12.0.1.jar:/opt/module/hbase-1.3.1/lib/metrics-core-2.2.0.jar:/opt/module/hbase-1.3.1/lib/protobuf-java-2.5.0.jar:/opt/module/hbase-1.3.1/lib/hbase-common-1.3.1.jar:/opt/module/hbase-1.3.1/lib/hbase-protocol-1.3.1.jar:/opt/module/hbase-1.3.1/lib/htrace-core-3.1.0-incubating.jar:/opt/module/hbase-1.3.1/lib/hbase-client-1.3.1.jar:/opt/module/hbase-1.3.1/lib/hbase-hadoop-compat-1.3.1.jar:/opt/module/hbase-1.3.1/lib/netty-all-4.0.23.Final.jar:/opt/module/hbase-1.3.1/lib/hbase-server-1.3.1.jar:/opt/module/hbase-1.3.1/lib/hbase-prefix-tree-1.3.1.jar

2．环境变量的导入

（1）执行环境变量的导入（临时生效，在命令行执行下述操作）

$ export HBASE_HOME=/opt/module/hbase
$ export HADOOP_HOME=/opt/module/hadoop-2.7.2
$ export HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp`

（2）永久生效：在/etc/profile 配置

export HBASE_HOME=/opt/module/hbase
export HADOOP_HOME=/opt/module/hadoop-2.7.2

并在 hadoop-env.sh 中配置：（注意：在 for 循环之后配）

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/module/hbase-1.3.1/lib/*

3．运行官方的 MapReduce 任务 --

案例一：统计 Student 表中有多少行数据

 /opt/module/hadoop-3.1.3/bin/yarn jar lib/hbase-server-1.3.1.jar rowcounter stu

案例二：使用 MapReduce 将本地数据导入到 HBase

1）在本地创建一个 tsv 格式的文件：fruit.tsv（注意这里的分隔符是TAB键）

1001    Apple   Red
1002    Pear    Yellow
1003    Pineapple   Yellow

3）上传到hadoop

 hadoop fs -put fruit.tsv /

4）执行 MapReduce 到 HBase 的 fruit 表中

/opt/module/hadoop-3.1.3/bin/yarn jar lib/hbase-server-1.3.1.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,info:name,info:color fruit hdfs://hadoop101:9000/input_fruit

2）创建 Hbase 表

Hbase(main):001:0> create 'fruit','info'

5）使用 scan 命令查看导入后的结果

hbase(main):011:0> scan 'fruit'
ROW                                   COLUMN+CELL                                                                                               1001                                 column=info:color, timestamp=1642253156646, value=Red                                                     1001                                 column=info:name, timestamp=1642253156646, value=Apple                                                    1002                                 column=info:color, timestamp=1642253156646, value=Yellow                                                  1002                                 column=info:name, timestamp=1642253156646, value=Pear                                                     1003                                 column=info:color, timestamp=1642253156646, value=Yellow                                                  1003                                 column=info:name, timestamp=1642253156646, value=Pineapple                                                
3 row(s) in 0.2760 seconds

2 自定义 HBase-MapReduce1

目标：将 fruit 表中的一部分数据，通过 MR 迁入到 fruit_mr 表中。

分步实现：

1．构建 ReadFruitMapper 类，用于读取 fruit 表中的数据

package com.atguigu.mr;import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;public class FruitMapper extends Mapper<LongWritable, Text,LongWritable,Text> {@Overrideprotected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {context.write(key,value);}
}

2． 构建 WriteFruitMRReducer 类，用于将读取到的 fruit 表中的数据写入到 fruit_mr 表中

package com.atguigu.mr;
​
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
​
import java.io.IOException;
​
public class FruitReducer extends TableReducer<LongWritable, Text, NullWritable> {
​//可以进行动态传参String cf1;
​@Overrideprotected void setup(Context context) throws IOException, InterruptedException {
​Configuration configuration = context.getConfiguration();
​cf1 = configuration.get("cf1");}
​@Overrideprotected void reduce(LongWritable key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
​//1.遍历valuesfor (Text value : values) {//获取每一行数据String[] fields = value.toString().split("\t");
​//3.构建put对象Put put = new Put(Bytes.toBytes(fields[0]));
​//4.给put对象赋值put.addColumn(Bytes.toBytes("info"),Bytes.toBytes("name"),Bytes.toBytes(fields[1]));put.addColumn(Bytes.toBytes("info"),Bytes.toBytes("color"),Bytes.toBytes(fields[2]));
​//5. 写出context.write(NullWritable.get(),put);}
​}
}
​

3．构建 Fruit2FruitMRRunner extends Configured implements Tool 用于组装运行 Job任务

package com.atguigu.mr;
​
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;
​
​
/*** @author:左泽林* @date:日期:2022-01-16-时间:8:55* @message:*/
public class FruitDriver implements Tool {
​//定义一个COnfigurationprivate Configuration configuration = null;
​
​public int run(String[] args) throws Exception {
​//1.获取Job对象Job job = Job.getInstance(configuration);
​//2. 设置驱动类路径job.setJarByClass(FruitDriver.class);
​//3. 设置mapper&mapper输出的KV类型job.setMapperClass(FruitMapper.class);job.setMapOutputKeyClass(LongWritable.class);job.setMapOutputValueClass(Text.class);
​//4. 设置Reducer类TableMapReduceUtil.initTableReducerJob(args[1] , FruitReducer.class , job);
​//5. 设置输入输出的参数FileInputFormat.setInputPaths(job,new Path(args[0]));
​//6. 提交任务boolean result = job.waitForCompletion(true);
​return result ? 0 : 1;}
​
​public void setConf(Configuration configuration) {this.configuration = configuration;}
​public Configuration getConf() {return null;}
​public static void main(String[] args) throws Exception {
​Configuration configuration = new Configuration();
​int run = ToolRunner.run(configuration, new FruitDriver(), args);
​System.exit(run);}
}
​

4．主函数中调用运行该 Job 任务

5．打包运行任务

  1. 6. 上传jar包到虚拟机，在hbase中创建fruit1表，在运行创建的jar包

创建fruit表:

hbase(main):003:0* create 'fruit1','info'
0 row(s) in 1.8160 seconds=> Hbase::Table - fruit1

运行jar包

yarn jar hbase-1.0-SNAPSHOT.jar com.atguigu.mr.FruitDriver /input/fruit.tsv fruit1

查看fruit1表中的结果:

hbase(main):004:0> scan 'fruit1'
ROW                                   COLUMN+CELL                                                                                               1001                                 column=info:color, timestamp=1642298137576, value=Red                                                     1001                                 column=info:name, timestamp=1642298137576, value=Apple                                                    1002                                 column=info:color, timestamp=1642298137576, value=Yellow                                                  1002                                 column=info:name, timestamp=1642298137576, value=Pear                                                     1003                                 column=info:color, timestamp=1642298137576, value=Yellow                                                  1003                                 column=info:name, timestamp=1642298137576, value=Pineapple                                                
3 row(s) in 0.4790 seconds

3 自定义 Hbase-MapReduce2

目标：实现将 HDFS 中的数据写入到 Hbase 表中。

分步实现：

1．构建 ReadFruitFromHDFSMapper 于读取 HDFS 中的文件数据

package com.atguigu.mr2;
​
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import org.apache.hadoop.hbase.util.Bytes;
​
import java.io.IOException;public class Fruit2Mapper extends TableMapper<ImmutableBytesWritable , Put> {
​@Overrideprotected void map(ImmutableBytesWritable key, Result value, Context context) throws IOException, InterruptedException {
​//构建Put对象Put put = new Put(key.get());
​//1.获取数据for (Cell cell : value.rawCells()) {
​//2.判断当前的cell是否为”name“列if ("name".equals(Bytes.toString(CellUtil.cloneQualifier(cell)))){
​//3.给Put对象赋值put.add(cell);
​}}
​//4.写出context.write(key,put);}
}
 

 
2．构建 WriteFruitMRFromTxtReducer 类
 

 

package com.atguigu.mr2;
​
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.io.NullWritable;
​
import java.io.IOException;
​public class Fruit2Reducer extends TableReducer<ImmutableBytesWritable , Put , NullWritable> {
​@Overrideprotected void reduce(ImmutableBytesWritable key, Iterable<Put> values, Context context) throws IOException, InterruptedException {
​//1。遍历写出for (Put value : values) {
​context.write(NullWritable.get(),value);
​}
​}
}
​
 

 

 
3．创建 Txt2FruitRunner 组装 Job
 

 

package com.atguigu.mr2;
​
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;
​public class Fruit2Driver implements Tool {
​//定义配置信息private Configuration configuration = null;
​public int run(String[] args) throws Exception {
​//1.获取Job对象Job job = Job.getInstance(configuration);
​//2. 设置主类路径job.setJarByClass(Fruit2Driver.class);
​//3.设置Mapper&输出KV类型TableMapReduceUtil.initTableMapperJob("fruit",new Scan(),Fruit2Mapper.class,ImmutableBytesWritable.class,Put.class,job);
​//4.设置Reducer&输出的表TableMapReduceUtil.initTableReducerJob("fruit12",Fruit2Reducer.class,job);
​//5.提交任务boolean result = job.waitForCompletion(true);
​return result ? 0 : 1;}
​public void setConf(Configuration configuration) {this.configuration = configuration;}
​public Configuration getConf() {return configuration;}
​public static void main(String[] args) throws Exception {
​
​Configuration configuration = HBaseConfiguration.create();
​ToolRunner.run(configuration, new Fruit2Driver() , args);
​}
}
​
 












本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/224594.html


如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！











相关文章










AI数字人可以用在哪些行业，对这些行业有什么好处








AI数字人可以用在哪些行业，对这些行业有什么好处




引言&#xff1a; 
在科技日新月异的今天&#xff0c;人工智能&#xff08;AI&#xff09;的发展已经深入到各个领域&#xff0c;尤其在旅游业、政务党建、城市园区、品牌宣传和乡村振兴等领域&#xff0c;AI数字人的应用正逐步改变我们的生活方式。 一.AI数字人在旅游业中的应…




阅读更多...

















Android 11.0 系统默认打开OEM解锁开关功能实现








Android 11.0 系统默认打开OEM解锁开关功能实现




1.前言 在11.0的系统rom定制化开发中，在9.0系统以后为了设备的安装，系统开始启用oem机制，所以在adb push文件就需要先oem解锁，然后才可以 进行相关操作，所以就需要默认打开oem解锁的开关，来方便oem解锁功能的实现 
如图： 2.系统默认打开OEM解锁开关功能实现的核心类 pac…




阅读更多...

















微短剧，会成为长视频的“救命稻草”吗？








微短剧，会成为长视频的“救命稻草”吗？




职场社畜秒变霸道总裁&#xff0c;普通女孩穿越成为艳丽皇妃.......这样“狗血”的微短剧&#xff0c;最近不仅在国内各大视频平台上异常火爆&#xff0c;而且还直接火出了国外。 
所谓微短剧&#xff0c;就是单集时长从几十秒到十几分钟的剧集&#xff0c;有着相对明确的主题和…




阅读更多...

















redis—String字符串








redis—String字符串




目录 
前言 
1.字符串数据类型 
2.常见命令 
3.典型应用场景 前言 
字符串类型是Redis最基础的数据类型&#xff0c;关于字符串需要特别注意: 1)首先Redis中所有的键的类型都是字符串类型&#xff0c;而且其他几种数据结构也都是在字符串类似基础.上构建的&#xff0c;例如列表…




阅读更多...

















JavaEE：CAS详解








JavaEE：CAS详解




一.什么是CAS CAS:  全称 Compare and swap &#xff0c;字面意思 :” 比较并交换 “ &#xff0c;一个 CAS  涉及到以下操作&#xff1a; 我们假设内存中的原数据V&#xff0c;旧的预期值A&#xff0c;需要修改的新值B。 我们来进行操作&#xff1a; 1. 比较 V 和 A 是否相等。…




阅读更多...

















vue3 全局配置Axios实例








vue3 全局配置Axios实例




目录 前言 配置Axios实例 页面使用 总结 前言 
Axios 是一个基于 Promise 的 HTTP 客户端&#xff0c;用于浏览器和 Node.js 环境。它提供了一种简单、一致的 API 来处理HTTP请求&#xff0c;支持请求和响应的拦截、转换、取消请求等功能。关于它的作用&#xff1a; 发起 HTTP …




阅读更多...

















VMware虚拟机安装Ubuntu系统教程








VMware虚拟机安装Ubuntu系统教程




所使用的文件如下&#xff1a; 
VMware Workstation 17 Pro 
ubuntu-22.04.3-desktop-amd64.iso 一、ubuntu 命名规则及各版本一览表 
1.ubuntu 命名规则&#xff1a; 
例如&#xff1a;ubuntu 16.04 LTS 是长期维护版本&#xff1b;ubuntu 17.04 是新特性版本 
前两位数字为发…




阅读更多...

















使用pytorch神经网络拟合计算模型








使用pytorch神经网络拟合计算模型




一. 内容简介 
python调用百度翻译api&#xff0c;将中文论文翻译英文&#xff0c;并保留部分格式 
二. 软件环境 
2.1vsCode 
2.2Anaconda 
version: conda 22.9.0 
2.3数据文件 
链接&#xff1a;https://pan.baidu.com/s/1csJOoErGyx77MW_FImVKjg?pwd1234 
三.主要流程 
3.…




阅读更多...

















【计数DP】牛客小白月赛19








【计数DP】牛客小白月赛19




登录—专业IT笔试面试备考平台_牛客网 
题意 思路 
首先做法一定是计数 dp 
然后状态设计&#xff0c;先设 dp[i] 
然后看影响决策的因素&#xff1a;两边的火焰情况&#xff0c;那就 dp[i][0/1][0/1]表示 前 i 个&#xff0c;该位有无火焰&#xff0c;该位右边有无火焰的方案数…




阅读更多...

















mysql原理--连接查询的成本








mysql原理--连接查询的成本




1.准备工作 连接查询至少是要有两个表的&#xff0c;只有一个 single_table 表是不够的&#xff0c;所以为了故事的顺利发展&#xff0c;我们直接构造一个和 single_table 表一模一样的 single_table2 表。为了简便起见&#xff0c;我们把 single_table 表称为 s1 表&#xff0…




阅读更多...

















ES8生产实践——Kibana对接Azure AD实现单点登录








ES8生产实践——Kibana对接Azure AD实现单点登录




基本概念介绍 
什么是单点登录 
单点登录&#xff08;Single Sign-On&#xff0c;SSO&#xff09;是一种身份验证和访问控制机制&#xff0c;允许用户使用一组凭据&#xff08;通常是用户名和密码&#xff09;仅需登录一次&#xff0c;即可访问多个应用程序或系统&#xff0c;而…




阅读更多...

















结构体的对齐规则








结构体的对齐规则




1.引入 我们在掌握了结构体的基本使⽤后。 现在我们深⼊讨论⼀个问题&#xff1a;计算结构体的大小。 这也是⼀个特别热门的考点&#xff1a; 结构体内存对齐。 2.具体分析 ⾸先我们得掌握结构体的对⻬规则&#xff1a;  1. 结构体的第⼀个成员对⻬到和结构体变量起始位置偏移量…




阅读更多...

















一站式指南：第 377 场力扣周赛的终极题解








一站式指南：第 377 场力扣周赛的终极题解




比赛详情 
比赛地址 题目一很简单题目二主要是题目长了点&#xff0c;其实解法很常规(比赛后才意识到)题目三套用Dijkstra算法题目四没时间解答水平还有待提升(其实就是需要灵活组合运用已知的算法&#xff0c;有点类似大模型的Agent) 
题解和思路 
第一题&#xff1a;最小数字…




阅读更多...

















CentOS进入单用户模式








CentOS进入单用户模式




一、重启 
二、出现内核选项 
按“e” 
三、编辑这一行 
输入 rw init/sysroot/bin/sh 四、进入单用户模式 ctrlx 进入 五、切换目录   
chroot /sysroot 六、然后你就操作你的系统了。 修改密码等等




阅读更多...

















【知识点随笔分享 | 第九篇】常见的限流算法








【知识点随笔分享 | 第九篇】常见的限流算法




目录 
前言&#xff1a; 
1.固定窗口限流&#xff1a;  
缺点&#xff1a;  
2.滑动窗口限流&#xff1a; 优点&#xff1a; 
滴桶限流&#xff1a; 
缺点&#xff1a; 
令牌桶限流&#xff1a;  
优点&#xff1a; 
总结: 前言&#xff1a; 当今互联网时代&#xff0c;随着网络…




阅读更多...

















IP编址，IP地址介绍与子网划分方法








IP编址，IP地址介绍与子网划分方法




网络层位于数据链路层与传输层之间。网络层中包含了许多协议&#xff0c;其中最为重要的协议就是IP协议。网络层提供了IP路由功能。理解IP路由除了要熟悉IP协议的工作机制之外&#xff0c;还必须理解IP编址以及如何合理地使用IP地址来设计网络。 
上层协议类型 以太网帧中的Typ…




阅读更多...

















数据通信网络基础华为ICT网络赛道








数据通信网络基础华为ICT网络赛道




目录 前言&#xff1a; 
1.网络与通信 
2.网络类型与网络拓扑 
3.网络工程与网络工程师 前言&#xff1a; 
数据通信网络基础是通信领域的基本概念&#xff0c;涉及数据传输、路由交换、网络安全等方面的知识。华为ICT网络赛道则是华为公司提出的一种技术路径&#xff0c;旨在通…




阅读更多...

















主机安全技术措施








主机安全技术措施




目录 
身份鉴别 
进阶 
访问控制  
进阶  
安全审计  
进阶 
​编辑 剩余信息保护 
入侵防范  
进阶 
恶意代码防范  
资源控制 身份鉴别 进阶 访问控制  进阶  安全审计  进阶 剩余信息保护 入侵防范  进阶 恶意代码防范  资源控制 ~over~




阅读更多...

















Git 分布式版本控制系统(序章1)








Git 分布式版本控制系统(序章1)




第一章 Git 分布式版本控制系统 为什么学Git? 某些企业面试需要掌握Git&#xff0c;同时&#xff0c;也方便管理自己的Qt项目。 
一、Git 客户端下载&#xff08;Windows&#xff09; 
下载地址 
https://gitee.com/all-about-git#git-%E5%A4%A7%E5%85%A8 二、Git 的特点 分支…




阅读更多...

















java的XWPFDocument3.17版本学习








java的XWPFDocument3.17版本学习




maven依赖 <dependency><groupId>org.apache.poi</groupId><artifactId>poi-ooxml</artifactId><version>3.17</version>
</dependency> 
测试类&#xff1a; import org.apache.poi.openxml4j.exceptions.InvalidFormatExcep…




阅读更多...


















最新文章












推荐文章


















Copyright @ 2022~2023


友情链接：
我的编程经验分享
一条长河网
尧图网站开发