【大数据技术基础 | 实验四】HDFS实验：读写HDFS文件

在这里插入图片描述

文章目录

    • 一、实验目的
    • 二、实验要求
    • 三、实验原理
      • （一）Java Classpath
      • （二）Eclipse Hadoop插件
    • 四、实验环境
    • 五、实验内容和步骤
      • （一）配置master服务器classpath
      • （二）使用master服务器编写HDFS读写程序
      • （三）安装与配置Eclipse Hadoop插件
      • （四）使用Eclipse开发HDFS读写程序
    • 六、实验结果
    • 七、实验心得

一、实验目的

  1. 会在Linux环境下编写读写HDFS文件的代码；
  2. 会使用jar命令打包代码；
  3. 会在master服务器上运行HDFS读写程序；
  4. 会在Windows上安装Eclipse Hadoop插件；
  5. 会在Eclipse环境编写读写HDFS文件的代码；
  6. 会使用Eclipse打包代码；
  7. 会使用Xftp工具将实验电脑上的文件上传至master服务器。

二、实验要求

实验结束时，每位学生均已搭建HDFS开发环境；编写了HDFS写、读代码；在master机上执行了该写、读程序。通过实验了解HDFS读写文件的调用流程，理解HDFS读写文件的原理。

三、实验原理

（一）Java Classpath

Classpath设置的目的，在于告诉Java执行环境，在哪些目录下可以找到您所要执行的Java程序所需要的类或者包。

Java执行环境本身就是一个平台，执行于这个平台上的程序是已编译完成的Java程序（后面会介绍到Java程序编译完成之后，会以.class文件存在）。如果将Java执行环境比喻为操作系统，如果设置Path变量是为了让操作系统找到指定的工具程序（以Windows来说就是找到.exe文件），则设置Classpath的目的就是让Java执行环境找到指定的Java程序（也就是.class文件）。

有几个方法可以设置Classpath，较简单的方法是在系统变量中新增Classpath环境变量。以Windows 7操作系统为例，右键点击计算机→属性→高级系统设置→环境变量，在弹出菜单的“系统变量”下单击“新建”按钮，在“变量名”文本框中输入Classpath，在“变量值”文本框中输入Java类文件的位置。例如可以输入.; D:\Java\jdk1.7.0_79\lib\tools.jar; D:\Java\jdk1.7.0_79\lib\rt.jar，每一路径中间必须以英文;作为分隔。

在这里插入图片描述
事实上JDK 7.0默认就会到当前工作目录（上面的.设置），以及JDK的lib目（这里假设是D:\Java\jdk1.7.0_796\lib）中寻找Java程序。所以如果Java程序是在这两个目录中，则不必设置Classpath变量也可以找得到，将来如果Java程序不是放置在这两个目录时，则可以按上述设置Classpath。

如果所使用的JDK工具程序具有Classpath命令选项，则可以在执行工具程序时一并指定Classpath。例如：javac -classpath classpath1;classpath2...其中classpath1、classpath 2是实际要指定的路径。也可以在命令符模式下执行以下的命令，直接设置环境变量，包括Classpath变量（这个设置在下次重新打开命令符模式时就不再有效）：set CLASSPATH=%CLASSPATH%;classpath1;classpath2...总而言之，设置Classpath的目的，在于告诉Java执行环境，在哪些目录下可以找到您所要执行的Java程序（.class文件）。

（二）Eclipse Hadoop插件

Eclipse是一个跨平台的自由集成开发环境（IDE）。通过安装不同的插件，Eclipse可以支持不同的计算机语言，比如C++和Python等开发工具，亦可以通过hadoop插件来扩展开发Hadoop相关程序。

实际工作中，Eclipse Hadoop插件需要根据hadoop集群的版本号进行下载并编译，过程较为繁琐。为了节约时间，将更多的精力用于实现读写HDFS文件，在大数据实验一体机的相关下载页面中已经提供了2.7.1版本的hadoop插件和相关的hadoop包下载，实验人员可以直接下载这些插件，快速在Eclipse中进行安装，开发自己的hadoop程序。

四、实验环境

  • 云创大数据实验平台：
    在这里插入图片描述
  • Java 版本：jdk1.7.0_79
  • Hadoop 版本：hadoop-2.7.1
  • Eclipse 版本：eclipse-jee-luna-SR2-win32-x86_64

五、实验内容和步骤

该实验的前提是部署HDFS，具体步骤可参考：【大数据技术基础 | 实验三】HDFS实验：部署HDFS

这里采用一键搭建的方式，将HDFS部署完成并启动Hadoop集群（包括hdfs和yarn），使用jps命令查看进程：

在这里插入图片描述 在这里插入图片描述 在这里插入图片描述

（一）配置master服务器classpath

使用SSH工具登录master服务器，执行命令：

vim /etc/profile

编辑该文件，将末尾加入如下几行：

JAVA_HOME=/usr/local/jdk1.7.0_79/
export HADOOP_HOME=/usr/cstor/hadoop
export JRE_HOME=/usr/local/jdk1.7.0_79//jre
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$HADOOP_HOME/share/hadoop/common/*:$HADOOP_HOME/share/hadoop/common/lib/*
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"

在这里插入图片描述

添加成功之后保存文件，然后再执行如下命令，让刚才设置的环境变量生效：

source /etc/profile

（二）使用master服务器编写HDFS读写程序

1. 在master服务器编写HDFS写程序

在master服务器上执行命令vim WriteFile.java，编写HDFS写文件程序：

vim WriteFile.java

在文件内写入如下java程序代码然后保存退出。

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class WriteFile {public static void main(String[] args)throws Exception{Configuration conf=new Configuration();FileSystem hdfs = FileSystem.get(conf);Path dfs = new Path("/weather.txt");FSDataOutputStream outputStream = hdfs.create(dfs);outputStream.writeUTF("nj 20161009 23\n");outputStream.close();}
}

在这里插入图片描述

在这里插入图片描述
2. 编译并打包HDFS写程序

使用javac编译刚刚编写的java代码，并使用jar命令打包为hdpAction1.jar。

javac WriteFile.java
jar -cvf hdpAction1.jar WriteFile.class

在这里插入图片描述

3. 执行HDFS写程序

在master服务器上使用hadoop jar命令执行hdpAction1.jar：

hadoop jar ~/hdpAction1.jar WriteFile

查看是否已生成weather.txt文件，若已生成，则查看文件内容是否正确：

hadoop fs -ls /
hadoop fs -cat /weather.txt

在这里插入图片描述

4. 在master服务器编写HDFS读程序

在master服务器上执行命令vim ReadFile.java，编写HDFS读文件程序：

vim ReadFile.java

然后填入如下java程序：

import java.io.IOException;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;public class ReadFile {public static void main(String[] args) throws IOException {Configuration conf = new Configuration();Path inFile = new Path("/weather.txt");FileSystem hdfs = FileSystem.get(conf);FSDataInputStream inputStream = hdfs.open(inFile);System.out.println("myfile: " + inputStream.readUTF());inputStream.close();}
}

在这里插入图片描述

在这里插入图片描述
5. 编译并打包HDFS读程序

使用javac编译刚刚编写的代码，并使用jar命令打包为hdpAction2.jar。

javac ReadFile.java
jar -cvf hdpAction2.jar ReadFile.class

在这里插入图片描述

6. 执行HDFS读程序

在master服务器上使用hadoop jar命令执行hdpAction2.jar，查看程序运行结果：

hadoop jar ~/hdpAction2.jar ReadFile

在这里插入图片描述

（三）安装与配置Eclipse Hadoop插件

关闭Eclipse软件，将hadoop-eclipse-plugin-2.7.1.jar文件拷贝至eclipse安装目录的plugins文件夹下。（该jar包可以到文末链接下载）

在这里插入图片描述
接下来，我们需要准备本地的Hadoop环境，用于加载hadoop目录中的jar包，只需解压hadoop- 2.7.1.tar.gz文件。

在这里插入图片描述
现在，我们需要验证是否可以用Eclipse新建Hadoop（HDFS）项目。打开Eclipse软件，依次点击File->New->Other，查看是否已经有 Map/Reduce Project 的选项。

在这里插入图片描述
在这里插入图片描述
这里如果没有出现这个选项的话，需要去Eclipse安装路径下的configuration文件中把org.eclipse.update删除，这是因为在org.eclipse.update文件夹下记录了插件的历史更新情况，它只记忆了以前的插件更新情况，而你新安装的插件它并不记录，之后再重启Eclipse就会出现这个选项了。

第一次新建Map/Reduce项目时，需要指定hadoop解压后的位置。如图所示。

在这里插入图片描述

（四）使用Eclipse开发HDFS读写程序

1. 使用Eclipse编写并打包HDFS写文件程序

打开Eclipse，依次点击File->New->Map/Reduce Project或File->New->Other->Map/Reduce Project，新建项目名为WriteHDFS的Map/Reduce项目。

新建WriteFile类并编写如下代码：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;public class WriteFile {public static void main(String[] args)throws Exception{Configuration conf=new Configuration();FileSystem hdfs = FileSystem.get(conf);Path dfs = new Path("/weather.txt");FSDataOutputStream outputStream = hdfs.create(dfs);outputStream.writeUTF("nj 20161009 23\n");outputStream.close();}
}

注意：因为本实验平台大数据集群是使用的jdk1.7版本，必须要使用相同版本才行，如果你是jdk1.8版本，也不用重新配置1.7版本，只需要在Eclipse切换执行环境就行，具体操作如下：

在这里插入图片描述
接着，在Eclipse左侧的导航栏选中该项目的WriteFile.java文件，点击Export->Java->JAR File，导出为hdpAction1.jar。

在这里插入图片描述
在这里插入图片描述
然后填写导出文件的路径和文件名，自定义：

在这里插入图片描述
然后点击下一步，再点击下一步，然后配置程序主类，这里必须要选择主类，不然后面上传到服务器就会一直报错。

在这里插入图片描述
最后点击完成就打包完成。

2. 上传HDFS写文件程序jar包并执行

使用WinSCP、XManager或其它SSH工具的sftp工具上传刚刚生成的hdpAction1.jar包至master服务器：

在这里插入图片描述

然后在master服务器上使用如下命令执行hdpAction1.jar：

hadoop jar ~/hdpAction1.jar WriteFile

查看是否已生成weather.txt文件，若已生成，则查看文件内容是否正确：

hadoop fs -ls /
hadoop fs -cat /weather.txt

在这里插入图片描述

3. 使用Eclipse编写并打包HDFS读文件程序

打开Eclipse，依次点击File->New->Map/Reduce Project或File->New->Other->Map/Reduce Project，新建项目名为ReadHDFS的Map/Reduce项目。这里建项目的方法和前面的一样，不再详细描述了。

新建ReadFile类并编写如下代码：

import java.io.IOException;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;public class ReadFile {public static void main(String[] args) throws IOException {Configuration conf = new Configuration();Path inFile = new Path("/weather.txt");FileSystem hdfs = FileSystem.get(conf);FSDataInputStream inputStream = hdfs.open(inFile);System.out.println("myfile: " + inputStream.readUTF());inputStream.close();}
}

在Eclipse左侧的导航栏选中该项目，点击Export->Java->JAR File，导出为hdpAction2.jar。和前面一样进行导包操作，注意要选择主类！

4. 上传HDFS读文件程序jar包并执行

使用WinSCP、XManager或其它SSH工具的sftp工具上传刚刚生成的hdpAction2.jar包至master服务器，并在master服务器上使用hadoop jar命令执行hdpAction2.jar，查看程序运行结果：

在这里插入图片描述

hadoop jar ~/hdpAction2.jar ReadFile

在这里插入图片描述

六、实验结果

1. HDFS写程序运行结果：

在这里插入图片描述

2. HDFS读程序运行结果：

在这里插入图片描述

七、实验心得

  在本次HDFS实验中，我成功地完成了HDFS文件的读写操作，并对Hadoop分布式文件系统的工作原理有了更深入的理解。实验的主要步骤包括在Linux环境中编写Java代码，用于向HDFS中写入和读取文件。通过使用Eclipse IDE进行代码开发，并将代码打包成JAR文件后，我在Hadoop集群的master服务器上运行了这些程序。

  实验的关键环节之一是掌握Java Classpath的设置方法，并理解Eclipse Hadoop插件的安装与配置。通过正确配置master服务器的环境变量，我顺利实现了HDFS读写程序的运行，并成功验证了实验结果。在实验过程中，还学会了使用Xftp等工具将本地开发的程序上传至master服务器，并执行相应的命令来测试HDFS文件的操作。

  总体而言，实验帮助我加深了对HDFS分布式文件系统的理解，特别是在大数据环境中文件的存储和读取操作，这为后续的Hadoop开发奠定了良好的基础。

附：以上文中的数据文件及相关资源下载地址：
链接：https://pan.quark.cn/s/d872381814a0
提取码：qjda

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/452733.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

D42【python 接口自动化学习】- python基础之函数

D42【python 接口自动化学习】- python基础之函数

day42 高阶函数 学习日期：20241019 学习目标：函数﹣- 55 高阶函数：函数对象与函数调用的用法区别 学习笔记： 函数对象和函数调用 # 函数对象和函数调用 def foo():print(foo display)# 函数对象 a foo print(a) # &…
阅读更多...
influxdb安装

influxdb安装

官网： https://www.influxdata.com/ centos7安装 wget https://dl.influxdata.com/influxdb/releases/influxdb2-2.0.4.x86_64.rpmyum localinstall influxdb2-2.0.4.x86_64.rpm启动 systemctl start influxdb systemctl enable influxdb # netstat -npult |gre…
阅读更多...
Springboot指定扫描路径

Springboot指定扫描路径

方式一：通过在启动类的SpringbootApplication中指定包扫描或类扫描 指定需要扫描的包 scanBasePackages{"待扫描包1","待扫描包2", . . . ," "} 指定需要扫描的类 scanBasePackageClasses{类1.class,类2.class,...} 方式二&#xff…
阅读更多...
权限（补充）

权限（补充）

在上一篇Linux权限（想了解的可以点击看看哦）中已经见识了一部分权限，但是少了很重要的一部分： 那就是用户之间的转换，文件读写的关系，这里就简单的介绍一些； 我们在Linux权限知道了目录权限的关…
阅读更多...
sql数据库命令行操作(数据库的创建和删除)

sql数据库命令行操作(数据库的创建和删除)

查询数据库 查询电脑里面所有数据库 SHOW DATABASES;查询当前所处的数据库 SELECT DATABASE();应用场景：当我使用了USE命令后不知道自己所在哪个数据库时，可以使用这个命令查询自己所在数据库 创建数据库 创建 CREATE DATABASE [IF NOT EXISTS] 数据…
阅读更多...
StarTowerChain：开启去中心化创新篇章

StarTowerChain：开启去中心化创新篇章

官网： www.startower.fr 在当今创新驱动的时代，StarTowerChain 以其独特的去中心化创新模式，为我们带来了新的希望和机遇。去中心化，这个充满活力与创造力的理念，正引领着我们走向未来的创新之路。 StarTowerChain …
阅读更多...
远程连接服务器

远程连接服务器

linux客户端通过秘钥登录linux服务端root用户 [rootClient ~]# ssh-keygen Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): // 存放文件，若直接回车就存在括号文件中） Enter passphrase (empty f…
阅读更多...
SpringCloudAlibaba[Nacos]注册配置中心注册与发现服务

SpringCloudAlibaba[Nacos]注册配置中心注册与发现服务

Nacos的全称是Dynamic Naming and Configuration Service，Na为naming/nameServer即注册中心,co为configuration即注册中心，service是指该注册/配置中心都是以服务为核心。是阿里巴巴开源易于构建云原生应用的动态服务发现、配置管理和服务管理平台。 Nac…
阅读更多...
基于预测算法的航班离港延误系统

基于预测算法的航班离港延误系统

毕业设计不知道做什么？想找一个结合算法与应用的项目？那你绝对不能错过这个"基于预测算法的航班离港延误系统"！✈️📊 项目简介： 这个系统专注于航班离港的延误预测，通过强大的神经网络技术对大…
阅读更多...
2024软考网络工程师笔记 - 第4章.局域网和城域网

2024软考网络工程师笔记 - 第4章.局域网和城域网

文章目录 局域网基础1️⃣局域网和城域网体系架构 IEEE（负责链路层）2️⃣局域网拓扑结构 🕑CSMA/CD1️⃣CSMA/CD2️⃣CSMA/CD三种监听算法3️⃣冲突检测原理 🕒二进制指数退避算法1️⃣ 二进制指数退避算法 🕓最小帧长…
阅读更多...
IO进程---day5

IO进程---day5

1、使用有名管道实现两个进程之间的相互通信 //管道文件 #include<myhead.h> int main(int argc, const char *argv[]) {//创建有名管道文件1if(mkfifo("./pipe1",0664)-1){perror("创建管道文件失败");return 0;}if(mkfifo("./pipe2",066…
阅读更多...
数据结构：二叉树、堆

数据结构：二叉树、堆

目录 一.树的概念 二、二叉树 1.二叉树的概念 2.特殊类型的二叉树 3.二叉树的性质 4.二叉树存储的结构 三、堆 1.堆的概念 2.堆的实现 Heap.h Heap.c 一.树的概念 注意&#xff0c;树的同一层中不能有关联&#xff0c;否侧就不是树了&#xff0c;就变成图了&#xff…
阅读更多...
RequestBody接收参数报错com.fasterxml.jackson.databind.exc.MismatchedInputException

RequestBody接收参数报错com.fasterxml.jackson.databind.exc.MismatchedInputException

目录&#xff1a; 1、错误现象2、解决办法3、最终验证 1、错误现象 报错的现象和代码如下&#xff1a; 2、解决办法 查了很多都说参数类型对不上&#xff0c;但是明明是对上的&#xff0c;没有问题&#xff0c;最后只有换接收方式后验证是可以的&#xff1b;最终想了一下&…
阅读更多...
效果不错的论文介绍：Im2Flow2Act:-跨领域机器人操控技术

效果不错的论文介绍：Im2Flow2Act:-跨领域机器人操控技术

Im2Flow2Act: 跨领域机器人操控技术 简介 今天介绍一个比较惊艳的论文&#xff0c;Im2Flow2Act&#xff0c;可以预测应该怎么移动图象中的物体预测移动方法完成需要执行的动作任务。 Im2Flow2Act 是一个基于学习的机器人操控框架&#xff0c;旨在通过多种数据源为机器人提供操…
阅读更多...
计算DOTA文件的IOU

计算DOTA文件的IOU

背景 在目标检测任务中&#xff0c;评估不同对象之间的重叠情况是至关重要的&#xff0c;而IOU&#xff08;Intersection Over Union&#xff09;是衡量这种重叠程度的重要指标。本文将介绍如何编写一个Python脚本&#xff0c;通过并行化处理DOTA格式的标注文件&#xff0c;统…
阅读更多...
vue3 解决背景图与窗口留有间隙的问题

vue3 解决背景图与窗口留有间隙的问题

需要实现一个登录界面&#xff0c;login.vue的代码如下&#xff1a; <script> import { ref } from vue;export default {setup() {return {};}, }; </script><template><div id"login-container" class"login-container"><di…
阅读更多...
线程的同步

线程的同步

文章目录 线程的同步同步&#xff1a;条件变量&#xff1a;pthread_cond_init():pthread_cond_wait()pthread_cond_signalpthread_cond_broadcast cp问题伪唤醒 信号量**多线程的互斥用信号量**&#xff1a;**单线程的互斥用锁**&#xff1a; 线程的同步 同步&#xff1a; 让…
阅读更多...
Cesium 影像加载的TileReplacementQueue技术

Cesium 影像加载的TileReplacementQueue技术

本文以分析QuadtreePrimitive及相关影像内容&#xff0c;讨论一些流程和方法。影像和地形是Cesium的基础内容&#xff0c;但是有时候感觉这部分的加载和渲染效率并不高。 TileReplacementQueue是一个非常神奇的类&#xff0c;我自己研究了小半天。虽然结构简单&#xff0c;但是…
阅读更多...
ACH支付详解，北美电商为何偏爱这一方式

ACH支付详解，北美电商为何偏爱这一方式

ACH支付在北美广泛应用&#xff0c;低成本、可逆、安全、便捷。ZohoBooks财务管理软件支持ACH&#xff0c;可自动化处理收付款&#xff0c;提高效率并减少错误。适合北美电商客户使用&#xff0c;支持多货币和税务法规。 一、什么是ACH支付&#xff1f; ACH支付是一种通过名为…
阅读更多...
②PROFINET转ModbusTCP， EtherCAT/Ethernet/IP/Profinet/ModbusTCP协议互转工业串口网关

②PROFINET转ModbusTCP， EtherCAT/Ethernet/IP/Profinet/ModbusTCP协议互转工业串口网关

EtherCAT/Ethernet/IP/Profinet/ModbusTCP协议互转工业串口网关https://item.taobao.com/item.htm?ftt&id822721028899 协议转换通信网关 PROFINET 转 Modbus TCP &#xff08;接上一章&#xff09; 配置使用 与 PROFINET 主站进行组态说明 这里介绍与西门子 PLC 的…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023