Hadoop3:动态扩容之新增一台机器的初始化工作

一、需求描述

Hadoop集群动态扩容一个节点
那么,这个节点是全新的,我们需要做哪些准备工作,才能将它融入集群了?

二、初始化配置

1、修改IP和hostname

vim /etc/sysconfig/network-scripts/ifcfg-ens33
vim /etc/hostname

2、复制102的hadoop、jdk安装包和环境变量文件

复制安装包,可以用普通账号进行复制

scp -r module/* atguigu@hadoop105:/opt/module/

复制环境变量文件,必须用root权限进行复制

sudo scp /etc/profile.d/my_env.sh root@hadoop105:/etc/profile.d/my_env.sh

新节点上

source /etc/profile

3、新节点上删除data和logs目录

cd /opt/module/hadoop-3.1.3
rm -rf data/ logs/

4、配置各个节点到新增节点的免密登陆

102、103、104到新节点的免密登陆

cd /home/atguigu/.ssh
ssh-copy-id hadoop105ssh atguigu@hadoop105	验证免密登陆

5、修改Hadoop集群配置文件

workers文件中,加入新节点域名
whitelist文件中,加入新节点域名
blacklist文件中,确保没有新节点域名

cd /opt/module/hadoop-3.1.3/etc/hadoop
vim workers
vim whitelist
vim blacklist

在这里插入图片描述在这里插入图片描述在这里插入图片描述

6、修改常用的集群工具文件

这里主要是修改jpsall、xsync文件
加入新节点的域名

cd /home/atguigu/bin/

在这里插入图片描述在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/377702.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

电脑屏幕录制,分享3个方法,简单轻松录屏

相信您也经历过这种时刻,当您在浏览一个精彩绝伦的网页,或是观看一部实用的教学视频,突然,你发现了一个细节,想要分享给朋友或者留作日后回味。这时,电脑屏幕录制就像是一个神奇的相机,能够精准…

安全防御:防火墙基本模块

目录 一、接口 1.1 物理接口 1.2 虚拟接口 二、区域 三、模式 3.1 路由模式 3.2 透明模式 3.3 旁路检测模式 3.4 混合模式 四、安全策略 五、防火墙的状态检测和会话表技术 一、接口 1.1 物理接口 三层口 --- 可以配置IP地址的接口 二层口: 普通二层…

RHCA II之路---EX442-23

RHCA II之路---EX442-23 1. 题目2. 解题3. 确认 1. 题目 2. 解题 安装pcp yum install -y pcp解压日志包 tar xf recording.tar.gz cat localhost.localdomain/20141231.06.00.01.config 4. 确认哪个设备IO高 pmval -a localhost.localdomain/20141231.06.00.01.0 disk.de…

Richtek立锜科技可用于智能门铃的电源管理解决方案

新型的智能门铃不仅能满足呼叫、提醒的需要,还能在线监控、远程操作、闯入通知、记录过程,系统构成相对复杂,与传统门铃相比有了很大的改变。 从电源管理的角度来观察,满足这样需求的系统构成也相对复杂: 处于外置状态…

7.12-7.14练习

目录 1.链表回文结构 2.相交链表 3.环形链表 4.返回相遇点的值 5.二叉树的前序遍历 6.相同的树力扣 7.另一颗树的子树 8.翻转二叉树 9.对称二叉树 10.平衡二叉树 11.而叉搜索树与双向链表 11.二叉树遍历 ​编辑 1.链表回文结构 import java.util.*;/* public class Li…

产品经理-研发流程-敏捷开发-迭代-需求评审及产品规划(15)

敏捷开发是以用户的需求进化为核心,采用迭代、循序渐进的方法进行软件开发。 通俗来说,敏捷开发是一个软件开发流程,是一个采用了迭代方法的开发流程 简单来说,迭代就是把一个大产品拆分出一些最小的实现单位。完成不同的迭代就最…

Sentinel-1 Level 1数据处理的详细算法定义(三)

《Sentinel-1 Level 1数据处理的详细算法定义》文档定义和描述了Sentinel-1实现的Level 1处理算法和方程,以便生成Level 1产品。这些算法适用于Sentinel-1的Stripmap、Interferometric Wide-swath (IW)、Extra-wide-swath (EW)和Wave模式。 今天介绍的内容如下: Sentinel-1 L…

计算机网络入门

计算机网络入门 1.计算机网络 1.1 概念 计算机网络是将一个分散的、具有独立功能的计算机系统通过通信设备与线路等连接起来,由功能完善的软件实现资源共享和信息传递的系统 2.计算机网络组成 2.1 组成部分 一个完整的计算机网络由 硬件 、 软件 、协议 三部分…

bash: ip: command not found

输入: ip addr 报错: bash: ip: command not found 报错解释: 这个错误表明在Docker容器中尝试执行ip addr命令时,找不到ip命令。这通常意味着iproute2包没有在容器的Linux发行版中安装或者没有正确地设置在容器的环境变量PA…

企业管理咨询公司的服务客户主要是哪些

在竞争激烈的商业世界里,企业管理咨询公司的角色日益凸显。它们凭借专业的知识、丰富的经验和独到的洞察力,为企业的发展提供全方位的智力支持。那么,这些咨询公司的主要服务对象究竟是谁呢?深圳天行健企业管理咨询公司现身说法&a…

AIGC笔记--基于Stable Diffusion实现图片的inpainting

1--完整代码 SD_Inpainting 2--简单代码 import PIL import torch import numpy as np from PIL import Image from tqdm import tqdm import torchvision from diffusers import AutoencoderKL, UNet2DConditionModel, DDIMScheduler from transformers import CLIPTextMod…

【python】Pandas运行报错分析:SettingWithCopyWarning及其处理

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,…

【k8s部署elasticsearch】k8s环境下安装elasticsearch集群和kibana

文章目录 简介一.条件及环境说明二.需求说明三.实现原理及说明四.详细步骤4.1.规划节点标签4.2.创建三个statefulset和service headless配置4.3.创建service配置 五.安装kibana六.调整索引分区七.安装说明 简介 k8s集群中搭建有elasticsearch服务一般都会用到pvc,但…

Linux中运用xsync实现免密集群分发

一、前言 今天搭建了三台虚拟机的集群,在集群中部分操作在三台虚拟机上的操作都一致,为了提高效率,就需要配置xsync实现集群分发。 二、设置免密登录 1.生成公钥和私钥 ssh-keygen -t rsa一直敲回车,会生成两个文件&#xff0c…

观察者模式的实现

引言:观察者模式——程序中的“通信兵” 在现代战争中,通信是胜利的关键。信息力以网络、数据、算法、算力等为底层支撑,在现代战争中不断推动感知、决策、指控等各环节产生量变与质变。在软件架构中,观察者模式扮演着类似的角色…

Go:基本变量与数据类型

目录 前言 前期准备 环境配置: Hello World! 一、基本变量 1.1 声明变量 1.2 初始化变量 1.3 变量声明到初始化的过程 1.4 变量值交换 1.5 匿名变量 1.6 变量的作用域 二、数据类型 1.1 整型 1.2 浮点型 1.3 字符串 1.4 布尔类型 1.5 数据类型判断…

STM32(五):STM32指南者-按键控制灯开关实验

说明:源代码和教程可从野火处下载,本博客为了记录学习过程STM32(四):STM32指南者-跑马灯实验的基础上 一、采用轮询方式1、bsp_key.h2、bsp_key.c3、main.c 二、采用中断方式1、bsp_exti.h2、bsp_exti.c3、stm32f10x_i…

在VSCode上创建Vue项目详细教程

1.前期环境准备 搭建Vue项目使用的是Vue-cli 脚手架。前期环境需要准备Node.js环境,就像Java开发要依赖JDK环境一样。 1.1 Node.js环境配置 1)具体安装步骤操作即可: npm 安装教程_如何安装npm-CSDN博客文章浏览阅读836次。本文主要在Win…

uniapp 微信小程序根据后端返回的文件链接打开并保存到手机文件夹中【支持doc、docx、txt、xlsx等类型的文件】

项目场景: 我们在使用uniapp官方提供的uni.downloadFile以及uni.saveFile时,会发现这个文件下载的默认保存位置和我们预想的不太一样,容易找不到,而且没有提示,那么我们就需要把文件打开自己保存并且有提示保存到哪个…

linux进程周边知识——内核对硬件的管理——计算机世界的管理

前言:本节主要讲解内核也就是操作系统对于硬件的管理, 本节内容同样为进程的周边知识。 主要是关于软件方面, 和我的上一篇——冯诺依曼体系结构可以说是兄弟文章, 这篇文章主要是关于硬件方面。 两篇文章都是为学习进程做准备。但…