基于Hadoop平台的电信客服数据的处理与分析③项目开发：搭建基于Hadoop的全分布式集群---任务7：格式化并启动Hadoop集群

任务描述

任务内容为格式化并启动Hadoop集群，并修复可能出现的Bug。

任务指导

Hadoop集群启动前需要在NameNode上格式化元数据，成功格式化后才能启动Hadoop的HDFS和YARN。

格式化启动Hadoop集群的步骤如下：

1. 在NameNode（master1）格式化Hadoop的元数据（只需要第一次启动集群时执行一次）

2. 启动HDFS集群

3. 启动YARN集群

任务实现

1. 格式化集群的NameNode（在master1执行）

[root@master1 ~]# hdfs namenode -format

回显如下：

[root@master1 ~]# hdfs namenode -format
23/10/18 08:57:10 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = master1/192.168.3.129
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 2.10.1
STARTUP_MSG:   classpath = ...略
STARTUP_MSG:   build = https://github.com/apache/hadoop -r 1827467c9a56f133025f28557bfc2c562d78e816; compiled by 'centos' on 2020-09-14T13:17Z
STARTUP_MSG:   java = 1.8.0_181
************************************************************/
23/10/18 08:57:10 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT]
23/10/18 08:57:10 INFO namenode.NameNode: createNameNode [-format]
Formatting using clusterid: CID-c67c639d-7eec-459d-9b60-3d5e696ccce8
23/10/18 08:57:10 INFO namenode.FSEditLog: Edit logging is async:true
23/10/18 08:57:10 INFO namenode.FSNamesystem: KeyProvider: null
23/10/18 08:57:10 INFO namenode.FSNamesystem: fsLock is fair: true
23/10/18 08:57:10 INFO namenode.FSNamesystem: Detailed lock hold time metrics enabled: false
23/10/18 08:57:10 INFO namenode.FSNamesystem: fsOwner             = root (auth:SIMPLE)
23/10/18 08:57:10 INFO namenode.FSNamesystem: supergroup          = supergroup
23/10/18 08:57:10 INFO namenode.FSNamesystem: isPermissionEnabled = false
23/10/18 08:57:10 INFO namenode.FSNamesystem: HA Enabled: false
23/10/18 08:57:10 INFO common.Util: dfs.datanode.fileio.profiling.sampling.percentage set to 0. Disabling file IO profiling
23/10/18 08:57:10 INFO blockmanagement.DatanodeManager: dfs.block.invalidate.limit: configured=1000, counted=60, effected=1000
23/10/18 08:57:10 INFO blockmanagement.DatanodeManager: dfs.namenode.datanode.registration.ip-hostname-check=true
23/10/18 08:57:10 INFO blockmanagement.BlockManager: dfs.namenode.startup.delay.block.deletion.sec is set to 000:00:00:00.000
23/10/18 08:57:10 INFO blockmanagement.BlockManager: The block deletion will start around 2023 Oct 18 08:57:10
23/10/18 08:57:10 INFO util.GSet: Computing capacity for map BlocksMap
23/10/18 08:57:10 INFO util.GSet: VM type       = 64-bit
23/10/18 08:57:10 INFO util.GSet: 2.0% max memory 889 MB = 17.8 MB
23/10/18 08:57:10 INFO util.GSet: capacity      = 2^21 = 2097152 entries
23/10/18 08:57:10 INFO blockmanagement.BlockManager: dfs.block.access.token.enable=false
23/10/18 08:57:10 WARN conf.Configuration: No unit for dfs.heartbeat.interval(3) assuming SECONDS
23/10/18 08:57:10 WARN conf.Configuration: No unit for dfs.namenode.safemode.extension(30000) assuming MILLISECONDS
23/10/18 08:57:10 INFO blockmanagement.BlockManagerSafeMode: dfs.namenode.safemode.threshold-pct = 0.9990000128746033
23/10/18 08:57:10 INFO blockmanagement.BlockManagerSafeMode: dfs.namenode.safemode.min.datanodes = 0
23/10/18 08:57:10 INFO blockmanagement.BlockManagerSafeMode: dfs.namenode.safemode.extension = 30000
23/10/18 08:57:10 INFO blockmanagement.BlockManager: defaultReplication         = 2
23/10/18 08:57:10 INFO blockmanagement.BlockManager: maxReplication             = 512
23/10/18 08:57:10 INFO blockmanagement.BlockManager: minReplication             = 1
23/10/18 08:57:10 INFO blockmanagement.BlockManager: maxReplicationStreams      = 2
23/10/18 08:57:10 INFO blockmanagement.BlockManager: replicationRecheckInterval = 3000
23/10/18 08:57:10 INFO blockmanagement.BlockManager: encryptDataTransfer        = false
23/10/18 08:57:10 INFO blockmanagement.BlockManager: maxNumBlocksToLog          = 1000
23/10/18 08:57:10 INFO namenode.FSNamesystem: Append Enabled: true
23/10/18 08:57:10 INFO namenode.FSDirectory: GLOBAL serial map: bits=24 maxEntries=16777215
23/10/18 08:57:10 INFO util.GSet: Computing capacity for map INodeMap
23/10/18 08:57:10 INFO util.GSet: VM type       = 64-bit
23/10/18 08:57:10 INFO util.GSet: 1.0% max memory 889 MB = 8.9 MB
23/10/18 08:57:10 INFO util.GSet: capacity      = 2^20 = 1048576 entries
23/10/18 08:57:10 INFO namenode.FSDirectory: ACLs enabled? false
23/10/18 08:57:10 INFO namenode.FSDirectory: XAttrs enabled? true
23/10/18 08:57:10 INFO namenode.NameNode: Caching file names occurring more than 10 times
23/10/18 08:57:10 INFO snapshot.SnapshotManager: Loaded config captureOpenFiles: falseskipCaptureAccessTimeOnlyChange: false
23/10/18 08:57:10 INFO util.GSet: Computing capacity for map cachedBlocks
23/10/18 08:57:10 INFO util.GSet: VM type       = 64-bit
23/10/18 08:57:10 INFO util.GSet: 0.25% max memory 889 MB = 2.2 MB
23/10/18 08:57:10 INFO util.GSet: capacity      = 2^18 = 262144 entries
23/10/18 08:57:10 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.window.num.buckets = 10
23/10/18 08:57:10 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.num.users = 10
23/10/18 08:57:10 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.windows.minutes = 1,5,25
23/10/18 08:57:10 INFO namenode.FSNamesystem: Retry cache on namenode is enabled
23/10/18 08:57:10 INFO namenode.FSNamesystem: Retry cache will use 0.03 of total heap and retry cache entry expiry time is 600000 millis
23/10/18 08:57:10 INFO util.GSet: Computing capacity for map NameNodeRetryCache
23/10/18 08:57:10 INFO util.GSet: VM type       = 64-bit
23/10/18 08:57:10 INFO util.GSet: 0.029999999329447746% max memory 889 MB = 273.1 KB
23/10/18 08:57:10 INFO util.GSet: capacity      = 2^15 = 32768 entries
23/10/18 08:57:10 INFO namenode.FSImage: Allocated new BlockPoolId: BP-894844368-192.168.3.129-1697619430610
23/10/18 08:57:10 INFO common.Storage: Storage directory /opt/app/hadoop_path/hdfs/name has been successfully formatted.
23/10/18 08:57:10 INFO namenode.FSImageFormatProtobuf: Saving image file /opt/app/hadoop_path/hdfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
23/10/18 08:57:10 INFO namenode.FSImageFormatProtobuf: Image file /opt/app/hadoop_path/hdfs/name/current/fsimage.ckpt_0000000000000000000 of size 322 bytes saved in 0 seconds .
23/10/18 08:57:10 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
23/10/18 08:57:10 INFO namenode.FSImage: FSImageSaver clean checkpoint: txid = 0 when meet shutdown.
23/10/18 08:57:10 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at master1/192.168.3.129
************************************************************/

回显的日志中未出现报错信息代表NameNode格式化成功。

此时在NameNode的元数据目录中会生成【current】文件夹，其中保存了HDFS的元数据文件，如下：

[root@master1 name]# cd /opt/app/hadoop_path/hdfs/name
[root@master1 name]# ll
total 0
drwxr-xr-x 2 root root 112 Oct 18 08:57 current
[root@master1 name]# ll current/
total 16
-rw-r--r-- 1 root root 322 Oct 18 08:57 fsimage_0000000000000000000
-rw-r--r-- 1 root root  62 Oct 18 08:57 fsimage_0000000000000000000.md5
-rw-r--r-- 1 root root   2 Oct 18 08:57 seen_txid
-rw-r--r-- 1 root root 215 Oct 18 08:57 VERSION

2.  启动HDFS集群，在master1上执行

[root@master1 ~]# start-dfs.sh

3. 启动YARN集群，在master1上执行

[root@master1 ~]# start-yarn.sh

  查看集群中的守护进程

全部启动完后分别在各个服务器上执行jps是可以看到下面这些进程的，输入【jps】命令，可以查看启动的守护进程，分别为：

master1：NameNode、ResourceManager
从slave1：DataNode、NodeManager
从slave2：DataNode、NodeManager、SecondaryNameNode

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/367764.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

vue3开发过程中遇到的一些问题记录

vue3开发过程中遇到的一些问题记录

问题： vue3在使用 defineProps、defineEmits、defineExpose 时不需要import，但是 eslint会报错error defineProps is not defined no-undef 解决方法： 安装 vue-eslint-parser 插件，在 .eslintrc.js 文件中添加配置 parser: vue-e…
阅读更多...
开发者聊科学作息时间表

开发者聊科学作息时间表

非常有幸对科学作息时间表app的开发者做一次采访。 问：你对科学作息时间表app满意么？ 答：非常不满意，我们的设想是让他更智能，更多的提醒方式，更好的交互体验。如果作为一个闹钟他是非常不合格的&#xff0…
阅读更多...
DataX数据迁移

DataX数据迁移

DataX数据迁移 访问DataX Web管理页面： http://ip:9527/index.html 用户名：admin，密码：123456 本文中示例将SqlServer数据增量同步到MySql中。 增量同步同步时，MySql中的新字段设置默认值 1. 查看执行器是否注册成…
阅读更多...
平衡二叉查找树和多路查找树

平衡二叉查找树和多路查找树

平衡二叉查找树 普通平衡二叉查找树 平衡二叉树定义是按照有序排列成树状，左子树数据大于右子树，任意节点的左右子树高度不能大于1 优点：可以保证绝对的平衡 缺点：当进行删除节点和新增节点，树进行自平衡的时候&…
阅读更多...
jenkins 发布服务到linux服务器

jenkins 发布服务到linux服务器

1.环境准备 1.1 需要一台已经部署了jenkins的服务器，上面已经集成好了，jdk、maven、nodejs、git等基础的服务。 1.2 需要安装插件 pusblish over ssh 1.3 准备一台额外的linux服务器，安装好jdk 2.流程描述 2.1 配置jenkins，包括p…
阅读更多...
[leetcode hot 150]第四百五十二题，用最少数量的箭引爆气球

[leetcode hot 150]第四百五十二题，用最少数量的箭引爆气球

题目： 有一些球形气球贴在一堵用 XY 平面表示的墙面上。墙面上的气球记录在整数数组 points ，其中points[i] [xstart, xend] 表示水平直径在 xstart 和 xend之间的气球。你不知道气球的确切 y 坐标。 一支弓箭可以沿着 x 轴从不同点 完全垂直 地射出。…
阅读更多...
《昇思25天学习打卡营第6天 | 函数式自动微分》

《昇思25天学习打卡营第6天 | 函数式自动微分》

《昇思25天学习打卡营第6天 | 函数式自动微分》 目录 《昇思25天学习打卡营第6天 | 函数式自动微分》函数式自动微分简单的单层线性变换模型函数与计算图微分函数与梯度计算Stop Gradient 函数式自动微分 神经网络的训练主要使用反向传播算法，模型预测值&#xff0…
阅读更多...
JAVA每日作业day7.1-7.3小总结

JAVA每日作业day7.1-7.3小总结

ok了家人们前几天学了一些知识，接下来一起看看吧 一.API Java 的 API （ API: Application( 应用 ) Programming( 程序 ) Interface(接口 ) ） Java API 就是 JDK 中提供给我们使用的类，这些类将底层 的代码实现封装了起来&#x…
阅读更多...
Linux多进程和多线程(四)进程间通讯-定时器信号和子进程退出信号

Linux多进程和多线程(四)进程间通讯-定时器信号和子进程退出信号

多进程(四) 定时器信号alarm()函数示例alarm()函数的限制定时器信号的实现原理setitimer()函数setitimer()和alarm()函数的区别 setitimer() old_value参数的示例 对比alarm()区别总结： 子进程退出信号 示例: 多进程(四) 定时器信号 SIGALRM 信号是用来通知进程…
阅读更多...
新声创新20年：无线技术给助听器插上“娱乐”的翅膀

新声创新20年：无线技术给助听器插上“娱乐”的翅膀

听力损失并非现代人的专利，古代人也会有听力损失。助听器距今发展已经有二百多年了，从当初单纯的声音放大器到如今的全数字时代助听器，助听器发生了翻天覆地的变化，现代助听器除了助听功能，还具有看电视，听…
阅读更多...
微信小程序 调色板

微信小程序 调色板

注意：是在uniapp中直接使用的一个color-picker插件，改一下格式即可在微信小程序的原生代码中使用 https://github.com/KirisakiAria/we-color-picker 这是插件的地址，使用的话先把这个插件下载下来，找到src，在项目创…
阅读更多...
FreeRTOS和UCOS操作系统使用笔记

FreeRTOS和UCOS操作系统使用笔记

FreeRTOS使用示例 UCOS使用示例 信号量使用 信号量访问共享资源区/ OS_SEMMY_SEM; //定义一个信号量，用于访问共享资源OSSemCreate ((OS_SEM* )&MY_SEM, //创建信号量，指向信号量(CPU_CHAR* )"MY_SEM", //信号量名字(OS_SEM_CTR )1, …
阅读更多...
imx6ull/linux应用编程学习(8）PWM应用编程（基于正点）

imx6ull/linux应用编程学习(8）PWM应用编程（基于正点）

1.应用层如何操控PWM： 与 LED 设备一样， PWM 同样也是通过 sysfs 方式进行操控，进入到/sys/class/pwm 目录下 这里列举出了 8 个以 pwmchipX（X 表示数字 0~7）命名的文件夹，这八个文件夹其实就对应了…
阅读更多...
守护矿山安全生产：AI视频分析技术在煤矿领域的应用

守护矿山安全生产：AI视频分析技术在煤矿领域的应用

随着人工智能（AI）技术的快速发展，其在煤矿行业的应用也日益广泛。AI视频智能分析技术作为其中的重要分支，为煤矿的安全生产、过程监测、效率提升和监管决策等提供了有力支持。 一、煤矿AI视频智能分析技术的概述 视频智慧煤矿AI…
阅读更多...
数据库测试数据准备厂商 Snaplet 宣布停止运营

数据库测试数据准备厂商 Snaplet 宣布停止运营

上周刚获知「数据库调优厂商 OtterTune 宣布停止运营」。而今天下班前，同事又突然刷到另一家海外数据库工具商 Snaplet 也停止运营了。Snaplet 主要帮助开发团队在数据库中生成仿真度高且合规的测试数据。我们在年初还撰文介绍过它「告别手搓！Postgres 一…
阅读更多...
Continual Test-Time Domain Adaptation--论文笔记

Continual Test-Time Domain Adaptation--论文笔记

论文笔记 资料 1.代码地址 https://github.com/qinenergy/cotta 2.论文地址 https://arxiv.org/abs/2203.13591 3.数据集地址 论文摘要的翻译 TTA的目的是在不使用任何源数据的情况下，将源预先训练的模型适应到目标域。现有的工作主要考虑目标域是静态的情况…
阅读更多...
Vue项目打包上线

Vue项目打包上线

Nginx 是一个高性能的开源HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP代理服务器。它在设计上旨在处理高并发的请求，是一个轻量级、高效能的Web服务器和反向代理服务器，广泛用于提供静态资源、负载均衡、反向代理等功能。 1、下载nginx 2、…
阅读更多...
探讨命令模式及其应用

探讨命令模式及其应用

目录 命令模式命令模式结构命令模式适用场景命令模式优缺点练手题目题目描述输入描述输出描述题解 命令模式 命令模式是一种行为设计模式， 它可将请求转换为一个包含与请求相关的所有信息的独立对象。 该转换让你能根据不同的请求将方法参数化、 延迟请求执行或将其…
阅读更多...
【高级篇】第9章 Elasticsearch 监控与故障排查

【高级篇】第9章 Elasticsearch 监控与故障排查

9.1 引言 在现代数据驱动的应用架构中，Elasticsearch不仅是海量数据索引和搜索的核心，其稳定性和性能直接影响到整个业务链路的健康度。因此，建立有效的监控体系和掌握故障排查技能是每一位Elasticsearch高级专家的必备能力。 9.2 监控工具：洞察与优化的利器 在Elastics…
阅读更多...
Rough.js在Vue3中生成随机蒙德里安风格的抽象艺术

Rough.js在Vue3中生成随机蒙德里安风格的抽象艺术

本文由ScriptEcho平台提供技术支持 项目地址：传送门 Mondrian风格艺术生成器：用Vue和RoughJS创造抽象艺术 应用场景 Mondrian风格艺术以其大胆的色彩块和简单的几何形状而闻名。这种风格可以应用于各种设计项目，包括海报、插图和网页设计…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发