Hadoop集群基础搭建

目录

一.虚拟机安装

1.配置虚拟机的ip

2.配置本机的ip

3.新建虚拟机

4.克隆三台虚拟机

二.虚拟机网络配置

1.修改ip配置

2.配置主机名和主机映射

3.配置SSH免密登陆

三.安装JDK

1.tar命令解压JDK安装包

2.配置JDK的环境变量

四.安装Hadoop

1.tar命令解压Hadoop安装包

2.配置Hadoop的环境变量

3.配置服务的用户权限

4.修改hadoop配置文件

修改 hadoop-env.sh 文件

修改 core-site.xml 文件

修改 hdfs-site.xml 文件

修改 mapred-site.xml 文件

修改 yarn-site.xml 文件

修改 workers 文件

5.将配置文件传输到子节点

将jdk和hadoop传输到子节点

将环境变量配置文件传输到子节点

6.格式化文件系统

五.启动服务

1.启动HDFS服务

2.启动YARN服务

3.启动JobHistoryServer历史日志服务器

HDFS 的基础命令教程:


一.虚拟机安装


1.配置虚拟机的ip

打开Vm,点击虚拟网络适配器


选择NAT模式,配置子网IP,配置子网掩码DHCP设置。


点击DHCP设置,配置IP设置。


 NAT设置


2.配置本机的ip


点击更改适配器


点击VMent8


点击属性


确认IP地址子网掩码网关虚拟机里设置的一样


3.新建虚拟机


打开Vm,点击新建虚拟机


点击下一步


点击下一步


选择虚拟机镜像,点击下一步。(这里我们用CentOS 7镜像

下载镜像:阿里云镜像:centos-7-isos-x86_64安装包下载_开源镜像站-阿里云


设置虚拟机名称,设置虚拟机安装目录

虚拟机安装目录,最好不要默认C盘,避免C盘空间不足,可以放D盘。


设置虚拟机处理器数量


设置虚拟机内存


点击下一步


点击下一步


点击下一步


点击下一步


点击下一步


点击下一步


点击完成


进入虚拟机选择中间的回车。

退出虚拟机快捷键Ctrl + Alt


选择中文,点击继续。


设置软件选择


选择基础设置服务器点击完成。


点击安装位置,确认位置后退出。

打开网络连接。


开始安装


设置root密码


完成配置


等加载完成后,点击重启


4.克隆三台虚拟机


点击从下一步


点击下一页


选择完整克隆


设置虚拟机名称,虚拟机安装路径,配置后点击完成

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/448898.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

AnaTraf | 深入探秘:如何利用网络报文分析仪进行高效抓包分析

目录 什么是网络报文分析仪? 抓包分析的核心作用 1. 故障排除 2. 性能优化 3. 安全监测 抓包分析的常见场景与技巧 1. 分析网络延迟问题 2. 排查TCP三次握手问题 3. 分析丢包问题 总结 AnaTraf 网络性能监控系统NPM | 全流量回溯分析 | 网络故障排除工具A…

智能驾驶必备:MEB低速紧急制动功能如何保护你的车辆?

🌟🌟 欢迎来到我的技术小筑,一个专为技术探索者打造的交流空间。在这里,我们不仅分享代码的智慧,还探讨技术的深度与广度。无论您是资深开发者还是技术新手,这里都有一片属于您的天空。让我们在知识的海洋中…

springboot家庭膳食生活助手小程序-计算机毕业设计源码85829

摘 要 家庭膳食生活助手系统是一个基于小程序平台的项目,采用springboot框架进行开发。该系统旨在帮助用户更加便捷地规划和管理家庭膳食,促进健康饮食和生活方式。本系统通过用户自定义的家庭成员信息和饮食偏好,智能生成个性化的膳食计划…

【C++】类和对象(类的默认成员函数)

目录 一.构造函数 二.析构函数 三.拷贝构造函数 四.赋值运算符重载 五.取地址运算符重载 默认成员函数就是用户没有显式实现,编译器会自动生成的成员函数称为默认成员函数。一个类,我们不写的情况下编译器会默认生成以下6个默认成员函数。 一.构造…

【C语言】函数的声明与定义

函数的声明 用户自定义函数需要在main函数之前进行声明,用分号结尾。 函数的定义 用户自定义函数在main函数之后进行定义,需要写出具体形参的变量名。注意函数的返回值和返回值类型要一一对应。 函数的调用 调用时,直接使用函数名进行调用&am…

【v5.3.0】修复订单批量发货提示 isPicUpload is not defined

使用订单批量发货的时候,没有反应,控制台提示 ReferenceError: isPicUpload is not defined 修改文件src/pages/order/orderList/components/tableList.vue 把isPicUpload改成isFileUpload,然后重新打包admin后台上传即可

推荐系统框架

推荐系统框架 理论---->应用 fellow前沿的理论,应用到推荐系统 SoTA(state of the art):意思是“最先进的”或“当前技术的最高水平”。通常用于描述某个领域中最新、最优或最具前沿性的技术、方法或成果。在研究和开发中&am…

【C语言】sizeof和strlen的区别

本篇博客将讲解以下知识: 1、sizeof和strlen的区别 1、sizeof和strlen的区别 (1)sizeof sizeof是单目操作符,不是函数,计算变量所占内存空间大小。单位是字节。如果操作数是类型的话,计算的是使用这种类型…

Bilidown v1.2.4 B站在线视频下载解析工具中文单文件版

Bilidown是一款专为B站视频下载而设计的工具,一款简洁好用的B站视频下载工具,支持由UP主上传的单集,多集以及相关封面,弹幕,字幕,音乐,刮削等等,支持任意粒度批量组合,登…

CSS3 提示框带边角popover

CSS3 提示框带边角popover。因为需要绝对定位子元素&#xff08;这里就是伪元素&#xff09;&#xff0c;所以需要将其设置为相对对位 <!DOCTYPE html> <html> <head> <title>test1.html</title> <meta name"keywords" con…

论文复现以及运行问题(论文:NUNO:一种非均匀数据下参数偏微分方程学习的通用框架)

前言 本人现在做的流固耦合案例里面包括流体和固体的数据&#xff0c;但是都是不均匀大小的网格数据&#xff08;点云的数据&#xff09;&#xff0c;不是均匀的网格数据&#xff0c;由于前期确定了使用模型wno小波神经算子&#xff0c;但是该模型输入为均匀的网格&#xff0c…

记录Centos7 漫漫配置路

记录Centos7 漫漫配置路 一、 配置源二、 clinfo三、 PCL 配置1. 依赖2. eigen3. boost4. flann5. pcl 四、YAML-CPP五、 miniconda 安装 python3.6 和 pytorch六、libbot 配置1. 容易安装的依赖2. 需要源码安装的依赖3. [libbot](https://github.com/libbot2/libbot2) 简单地说…

引领智慧文旅新纪元,开启未来旅游新境界

融合创新科技&#xff0c;重塑旅游体验&#xff0c;智慧文旅项目定义旅游新未来 在全球化的浪潮中&#xff0c;旅游已成为连接世界的重要纽带。智慧文旅项目&#xff0c;不仅仅是一次技术的革新&#xff0c;更是对旅游行业未来发展的一次深刻思考。信鸥科技通过运用云计算、大数…

多功能点击器(文末附Gitee源码)——光遇自动弹奏

之前提到的多功能点击器&#xff0c;使用场景比较多&#xff0c;之前玩光遇喜欢在里面弹琴&#xff0c;想到用这个点击器也能自动弹琴&#xff0c;跟别的自动弹琴脚本不一样&#xff0c;这个比较简单容易操作。 借这个光遇自动弹琴使用教程再讲解一下这个多功能点击头的使用方法…

Linux编辑器-vim的配置及其使用

vim是一种多模式的编辑器&#xff1a; 1.命令模式&#xff08;默认模式&#xff09;&#xff1a;用户所有的输入都会当作命令&#xff0c;不会当作文本输入。 2.插入模式&#xff1a;写代码&#xff0c; 按「 i 」切换进入插入模式「 insert mode 」&#xff0c;按 “i” 进入…

【安当产品应用案例100集】023-企业内部对Oracle数据库动态凭据的管理

凭据&#xff08;Credential&#xff09;&#xff0c;用于验证个人或系统身份的信息。在信息技术领域&#xff0c;凭据通常指的是用来证明用户身份的数据&#xff0c;以便系统能够确认用户是否具有访问资源或执行某些操作的权限。凭据的种类很多&#xff0c;比如用户名和密码、…

《安全历史第5讲——秦始皇统一度量衡与代码标准化》

秦始皇统一了六国后&#xff0c;中国由此进入了一个崭新的历史时期。而帝国初期的一项重要决策——统一度量衡&#xff0c;让中国领先了千年&#xff0c;至今都因此受益。度量衡的统一极大地促进了社会经济交流&#xff0c;提高了行政效率&#xff0c;并为科学技术的发展奠定了…

SUGAR:用于皮层表面配准的球形超快图注意力框架|文献速递-基于深度学习的医学影像分类,分割与多模态应用

Title 题目 SUGAR: Spherical ultrafast graph attention framework for cortical surface registration SUGAR&#xff1a;用于皮层表面配准的球形超快图注意力框架 01 文献速递介绍 基于表面的分析在解剖和功能神经影像学研究中变得越来越受欢迎&#xff08;Coalson 等,…

【专题】智启未来:新质生产力引擎驱动下的智能制造行业革新报告合集PDF分享(附原数据表)

原文链接&#xff1a; https://tecdat.cn/?p37856 在当今全球经济格局深刻变革的大背景下&#xff0c;制造业作为国家经济的基石&#xff0c;正处在高质量发展的关键历史时期。智能决策作为一股崭新的力量&#xff0c;正逐步成为推动制造业数智化转型的强大新动能。众多制造企…

jar 导入本地和远程私服 maven 仓库

jar 导入本地和远程私服 maven 仓库artemis-http-client 认证库 maven 坐标为&#xff1a; 执行 mvn 命令&#xff1a; mvn install:install-file -DfileD:\download\lib\artemis-http-client-1.1.12.RELEASE.jar -DgroupIdcom.hikvision.ga -DartifactIdartemis-http-clien…