一、实验目的
(1)熟悉Linux系统、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用;
(2)了解大数据处理的基本流程;
(3)熟悉数据预处理方法;
(4)熟悉在不同类型数据库之间进行数据相互导入导出;
(5)熟悉使用Python,echarts进行可视化分析;
(6)熟悉使用idea编写Java程序操作HBase数据库。
二、实验平台
- 操作系统:Linux(建议Ubuntu16.04);
- Hadoop版本:2.7.1。
三、实验步骤
(1)步骤零:实验环境准备
(2)步骤一:本地数据集上传到数据仓库Hive
(3) 步骤二:Hive数据分析
(4) 步骤三:Hive、MySQL、HBase数据互导
(5)步骤四:利用R进行数据可视化分析。
有问题的小伙伴可以在评论区提出喔~