一、Hadoop初始化配置(final+ubuntu保姆级教程)

1、配置虚拟机

        三台虚拟机,分别为node1、node2、node3,内存分别为4G、2G、2G,现存最好为(>40G),如下:

2、修改主机名

分别打开三台虚拟机,root用户输入一下命令:

node1虚拟机输入:
hostnamectl set-hostname node1
node2虚拟机输入:
hostnamectl set-hostname node2
node3虚拟机输入:
hostnamectl set-hostname node3

3、验证

输入完成之后,刷新cmd窗口,可以看到主机名发生变化:

 

4、修改配置文件

(1)图形化界面修改

设置-》网络-》点击-》将ipv4调整为手动-》修改地址、子网掩码、网关、dns

(2)重启网络设置

先开关按钮,再重启网络:

sudo systemctl restart NetworkManager.service

(3)查看修改结果

5、修改主机的host文件

找到C盘下的如下目录:

C:\Windows\System32\drivers\etc

打开第一个hosts文件,在文件末尾输入三台虚拟机的IP地址,然后保存,分别为:

192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3

6、finall shell连接

(1)建立连接

        因为已经在windows中配置过node1,所以这里主机名只需要输入node1即可,不需要输入IP地址。

(2)关闭防火墙

sudo ufw disable

(3)配置ssh

安装ssh服务器
sudo apt install openssh-server
安装ssh客户端
sudo apt install openssh-client

(4)配置root密码

        当你按照(1)中步骤连接时,会不断弹出密码框,这是因为在初始化Ubuntu时,我们只赋予了普通用户密码,并没有给与root用户密码,我们需要在Ubuntu中配置root用户密码:

sudo passwd root

(5)修改配置文件

        在root用户下,进入如下配置文件:

vim /etc/ssh/sshd_config

        找到PermitRootLogin……这一行:

        在这一行的下面添加如下语句:

PermitRootLogin yes

(6)重启ssh服务

systemctl restart sshd

(7)完成链接

7、修改Ubuntu中的hosts文件

(1)进入目录

vim /etc/hosts

(2)加入如下内容

192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3

8、为root用户创建ssh免密登录配置

(1)配置

(2)生成密钥

        输入如下语句,一路回车即可:

 ssh-keygen -t rsa -b 4096

(3)验证

(4)授权免密登录

在node1下执行如下语句,这里以node1中执行为例

·node1到node1免密登录

ssh-copy-id node1

·node1到node2免密登录

ssh-copy-id node2

·node1到node3免密登录

ssh-copy-id node3

9、为普通用户创建ssh免密登录

(1)为三台虚拟机创建hadoop用户

adduser:会自动为创建的用户指定主目录、系统shell版本,会在创建时输入用户密码。
useradd:需要使用参数选项指定上述基本设置,如果不使用任何参数,则创建的用户无密码、无主目录、没有指定shell版本。

这里强烈建议使用adduser,否则会在生成密钥时,出现“文件不存在报错”

adduser hadoop

(2)将三台虚拟机切换到hadoop用户

su hadoop

(3)生成密钥

        一直回车键即可,记着,三台虚拟机都要再生成一次密钥

ssh-keygen -t rsa -b 4096

(4)授权免密登录

这里请参考8、(4)进行操作

10、配置java的JDK

(1)创建目录

(2)上传文件和解压

安装rz,上传压缩包

解压文件

 tar -zxvf jdk-8u391-linux-x64.tar.gz -C /export/server/

验证

(3)创建软连接

ln -s /export/server/jdk1.8.0_391 jdk

(4)修改配置文件

vim /etc/profile
在配置文件中加入:
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin

刷新

 source /etc/profile

验证:

(5)删除操作系统自带的java

rm -f /usr/bin/java

(6)将刚刚下载java软连接到usr的bin文件中

ln -s /export/server/jdk/bin/java /usr/bin/java

验证

11、关闭防火墙和SELinux

(1)下载防火墙

apt install firewalld

 (2)关闭防火墙

systemctl stop firewalld
 systemctl disable firewalld

(3)关闭selinux

在安装selinux之后,输入如下,进入配置文件进行修改

 vim /etc/selinux/config

将文件第七行进行如上修改即可

12、修改时区

(1)安装ntp

apt install ntp

 (2)更新时区

rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

(3)同步时间

ntpdate -u ntp.aliyun.com

(4)启动ntp

systemctl status ntp
systemctl enable ntp #开机自启

(5)验证是否开机自启动

yang@node1:~$ systemctl is-enabled ntp
enabled

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/183454.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Maven3.9.1安装及环境变量配置

一、Maven的下载与安装 maven各版本下载地址 打开链接后自行选择对应版本 下载完成后解压安装,最好别选择c盘,安装目录路径等使用英文,避免产生其他问题 我这里选择的是D盘 二、Maven的环境变量配置 2.1、右键点击此电脑选择属性,点击高级系统设置,点…

win10语言切换调整为像win7一样,设置纯英文键盘切换,使用ctrol+shift切换键盘

文章目录 引入键盘布局说明安装美式键盘去掉微软键盘,修改布局切换快捷键最终效果 引入 我们在玩游戏或者写代码的时候,常常需要使用shift键,而输入法的shift键常常是中英切换按键,这就让人非常不爽了,这里仿照在win7…

信息科技风险管理:合规管理、技术防控与数字化

信息科技对金融业务发展所起的作用是举足轻重的。近年来,金融机构在战略规划中相继引入科技引领的概念。作为金融机构信息科技从业人员,我们笃信信息科技是一个非常有用的工具,一个兼具产品思维和管理思维、拥有高质增效能力的工具。 这个工…

服务器的操作系统,你选择哪些?

OpenCloudOS CentOS CentOS Stream Ubuntu Debian Windows Server

接口测试工具

接口测试的重要性 接口测试: 直接对后端服务的测试,是服务端性能测试的基础,是测试工程师的必备技能。 接口测试的概念 接口:系统之间数据交互的通道 接口测试:校验接口响应数据与预期数据是否一致 接口信息解析 …

一款好用的PDF转翻页电子书网站

​你是否曾经遇到过PDF文件无法翻页或者阅读不便的问题?今天给大家推荐一款好用的PDF转翻页电子书网站,让你轻松阅读PDF文件,不再烦恼翻页问题! 一、网站介绍 这款FLBOOK在线制作电子杂志网站支持多种电子文件格式转换&#xff0…

Nginx配置

localtion规则解释 #表示精确匹配,优先级也是最高的 ^~ #表示uri以某个常规字符串开头,理解为匹配url路径即可 ~ #表示区分大小写的正则匹配 ~* #表示不区分大小写的正则匹配 !~ #表示区分大小写不匹配的正则 !~* #表示不区分大小写不匹配的正则 / #通用匹配&#…

oracle_19c 安装

oracle安装部署 1、安装docker,docker-compose环境。 curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun curl -L "https://github.com/docker/compose/releases/download/1.14.0-rc2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/b…

AD9371 官方例程 NO-OS 主函数 headless 梳理(二)

AD9371 系列快速入口 AD9371ZCU102 移植到 ZCU106 : AD9371 官方例程构建及单音信号收发 ad9371_tx_jesd -->util_ad9371_xcvr接口映射: AD9371 官方例程之 tx_jesd 与 xcvr接口映射 AD9371 官方例程 时钟间的关系与生成 : AD9371 官方…

scrapy案例教程

文章目录 1 scrapy简介2 创建项目3 自定义初始化请求url4 定义item5 定义管道 1 scrapy简介 scrapy常用命令 |命令 | 格式 |说明| |–|–|–| |startproject |scrapy startproject <项目名> |创建一个新项目| |genspider| scrapy genspider <爬虫文件名> <域名…

古典舞学习的独舞与群舞,古典舞的成品舞蹈教学大全

一、教程描述 本套教程的古典舞是很全面的&#xff0c;不仅有舞蹈动作分解教学&#xff0c;而且有成品舞的完整教学&#xff0c;同时提供独立的背景音乐文件&#xff0c;可以让你更快地学会古典舞。本套教程&#xff0c;大小30.54G&#xff0c;共有276个文件。 二、教程目录 …

如何实现合同字段快速选择填充

合同系统中&#xff0c;经常需要往文档中的预留位置填入内容&#xff0c;这些位置的内容往往不是固定的&#xff0c;而是已知可选的&#xff0c;比如&#xff1a;甲方、乙方、联系电话等等。每次都重复地填写这些内容&#xff0c;未免太过于繁琐&#xff0c;那么有没有什么好的…

初步利用Ansible实现批量服务器自动化管理

1.Ansible介绍 Ansible是一款开源的自动化运维工具, 在2012年由Michael DeHaan创建, 现在由Red Hat维护。Ansible是基于Python开发的,采用YAML语言编写自动化脚本playbook, 可以在Linux、Unix等系统上运行, 通过SSH协议管理节点, 无需在被管理节点安装agent。Ansible以其简单、…

机器学习实战:基于sklearn的工业蒸汽量预测

文章目录 写在前面工业蒸汽量预测1.基础代码2.模型训练3.模型正则化4.模型交叉验证5.模型超参空间及调参6.学习曲线和验证曲线 写在后面 写在前面 本期内容&#xff1a;基于机器学习的工业蒸汽量预测 实验环境&#xff1a; anaconda python sklearn 注&#xff1a;本专栏内所有…

React 其他常用Hooks

1. useImperativeHandle 在react中父组件可以通过forwardRef将ref转发到子组件&#xff1b;子组件拿到父组件创建的ref&#xff0c;绑定到自己的某个元素&#xff1b; forwardRef的做法本身没有什么问题&#xff0c;但是我们是将子组件的DOM直接暴露给了父组件&#xff0c;某下…

网络原理---封装和分用

文章目录 什么是封装和分用&#xff1f;封装应用层传输层网络层数据链路层物理层 分用物理层数据链路层网络层传输层应用层 什么是封装和分用&#xff1f; 我们前面讲过协议会分层&#xff0c;每一层都有各自的功能。而在数据传输的过程中&#xff0c;得按照顺序把每一层协议都…

如何规划并新建大数据平台的独立生产域?5步走

一般来说&#xff0c;大数据平台包括以下4类数据生产域——生产生态环境&#xff08;正式生产环境&#xff09;、开发和测试环境、培训和演示环境、灾备环境。各生产域在由平台提供资源、安全、监控、故障恢复等保障的同时&#xff0c;不同的生产域之间还需要严格隔离&#xff…

AI:56-基于深度学习的微表情识别

🚀 本文选自专栏:AI领域专栏 从基础到实践,深入了解算法、案例和最新趋势。无论你是初学者还是经验丰富的数据科学家,通过案例和项目实践,掌握核心概念和实用技能。每篇案例都包含代码实例,详细讲解供大家学习。 📌📌📌在这个漫长的过程,中途遇到了不少问题,但是…

前端框架Vue学习 ——(七)Vue路由(Vue Router)

文章目录 Vue路由使用场景Vue Router 介绍Vue Router 使用 Vue路由使用场景 使用场景&#xff1a;如下图&#xff0c;点击部门管理的时候显示部门管理的组件&#xff0c;员工管理的时候显示员工管理的组件。 前端路由&#xff1a;指的是 URL 中的 hash(#号)与组件之间的对应关…

数据结构与算法之美学习笔记:16 | 二分查找(下):如何快速定位IP对应的省份地址?

目录 前言二分查找的变形问题变体一&#xff1a;查找第一个值等于给定值的元素变体二&#xff1a;查找最后一个值等于给定值的元素变体三&#xff1a;查找第一个大于等于给定值的元素变体四&#xff1a;查找最后一个小于等于给定值的元素 解答开篇内容小结 前言 本节课程思维导…