【hadoop】完全分布式集群部署

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

文章目录

  • 前言
  • 一、准备好三台虚拟机
    • 1.创建虚拟机
    • 2.配置网卡
    • 3.配置JDK和HADOOP
    • 4.修改主机名
  • 二、修改ip、映射
    • 1.修改ip
    • 2.修改映射
  • 三、设置免密登录
  • 四、关闭防火墙
  • 五、配置hadoop配置文件
    • 1.配置core-site.xm
    • 2.配置hdfs-site.xml
    • 3.配置yarn-site.xml
    • 4.配置mapred-site.xml
    • 5.群起集群
  • 六、将hadoop配置文件,同步到其他两个主机上
  • 七、设置时间同步
  • 八、NameNode格式化
  • 九、查看相关进程
  • 总结


前言

完全分布式模式:是多台服务器组成的分布式环境,安全系数比较高。当企业在工作时,数据的安全是非常重要的,当我们一个主机出现故障的时候,如果我们使用的是伪分布,这种是单机运行的,出现故障也容易造成不可挽回的损失。但是完全分布式就能够解决这个问题,它最少有三个主机,当主节点出现宕机的时候,从节点就会补上。


一、准备好三台虚拟机

1.创建虚拟机

可以参考此文档,创建虚拟机,里面有详细的教程。

创建虚拟机详细教程:http://www.360doc.com/content/22/0622/09/74713971_1037051336.shtml

此链接可以下载centos镜像:http://mirrors.aliyun.com/centos/7/isos/x86_64/


2.配置网卡

1.通过cmd,输入ipconfig查看ip地址
ip地址
2.使用vi /etc/sysconfig/network-scripts/ifcfg-ens33这个命令,进行编辑
修改模板
3.重启网卡systemctl restart network

3.配置JDK和HADOOP

1、可以先连接远程工具如MobaXterm、Xshell

连接远程工具MobaXterm详细可以看此连接:https://blog.csdn.net/Nurbiya_K/article/details/100146457?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522168743815016800182770111%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=168743815016800182770111&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2allfirst_rank_ecpm_v1~rank_v31_ecpm-1-100146457-null-null.142v88control_2,239v2insert_chatgpt&utm_term=hadoop%E8%BF%9E%E6%8E%A5%E8%BF%9C%E7%A8%8B%E5%B7%A5%E5%85%B7MobaXterm&spm=1018.2226.3001.4187

连接远程工具Xshell详细可以看此连接:
https://blog.csdn.net/feizuiku0116/article/details/120688891?ops_request_misc=&request_id=&biz_id=102&utm_term=hadoop%E8%BF%9E%E6%8E%A5%E8%BF%9C%E7%A8%8B%E5%B7%A5%E5%85%B7&utm_medium=distribute.pc_search_result.none-task-blog-2allsobaiduweb~default-0-120688891.142v88control_2,239v2insert_chatgpt&spm=1018.2226.3001.4187

2、将jdk和hadoop解压到/usr/local/路径下
我们采用1.8版本的jdk

可以在这个网址里挑选合适的jdk: https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

本篇博客使用的hadoop是2.7.1版本的

此地址可以找到选择合适的版本: https://www.apache.org/dyn/closer.cgi#

使用代码tar -xzvf (被解压的压缩包所在的路径) -C (解压后的储存路径)

3.配置HADOOP_HOME
通过vi /etc/profile将入配置全局变量
如图:
配置全局变量
使用source /etc/profile 使环境变量生效

4.创建好一个虚拟机后,通过复制再创建出另外两台主机。
查看路径的方法
重命名,好区分虚拟机:
重命名虚拟机

4.修改主机名

hostnamectl set-hostname (你需要取的主机名)

修改主机名
修改后
另外两部虚拟机也是同样的操作

二、修改ip、映射

1.修改ip

因为我们是复制的虚拟机,但是ip不能一样,所以我们需要修改这三台虚拟机的ip
也是运行vi /etc/sysconfig/network-scripts/ifcfg-ens33进行修改
修改了ip
另外两台虚拟机也是修改这个位置
修改完以后需要重启网卡:
systemctl restart network
可以输入:
ping www.baidu.com
查看是否能链接外网

2.修改映射

使用vi /etc/hosts配置映射
修改映射
在master配置好后,我们根据"scp"语句,同步文件

scp (同步的文件路径)  root(以root的身份)@(同步的主机):(同步过去的路径)

例如:

scp /etc/hosts root@slave1:/etc

同步到了slave1主机上

scp /etc/hosts root@slave2:/etc

同步到了slave2主机上
检验是否成功:
检验是否成功

三、设置免密登录

三部机器都需要配置免密登录
现在的代码是基于master操作的
我们需要生成公钥/私钥密码对
1.通过ssh-keygen -t rsa生成一对公钥/私钥密码对,接下来一直按回车就可以了。
2.通过cat ~/.ssh/id_rsa.pub查看公钥是否存在
3.通过cat ~/.ssh/id_rsa查看私钥是否存在
4.通过ssh-copy-id -i ~/.ssh/id_rsa.pub master用公钥拷贝到master目标机器上,在执行这个命令的过程中需要输入master的密码
5.通过ssh master检验免密登录是否成功

四、关闭防火墙

1.通过systemctl status firewalld查看防火墙的状态
2.通过systemctl stop firewalld关闭防火墙
3.通过systemctl is-enabled firewalld查看是否开机自起,如果输出“enabled”表示开机自起/输出“disabled”表示开机不会自起
4.通过systemctl disable firewalld禁止防火墙开机自起

五、配置hadoop配置文件

将hadoop-2.7.1.tar.gz上传到Centos7的/usr/local路径

下载路径为: https://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz

解压hadoop-2.7.1.tar.gz:tar -xzvf hadoop-2.7.1.tar.gz

接下来我们配置core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件他们存放在$HADOOP_HOME/etc/hadoop这个路径上,所以我们可以先切换进这个路径,进行配置,最后群起集群slaves

1.配置core-site.xm

1.vi core-site.xml
2.配置成

  <configuration><property><!-- NameNode的地址 --><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><property><!-- hadoop数据的存储目录 --><name>hadoop.tmp.dir</name><value>/usr/local/hadoop-2.7.1/data</value></property></configuration>
~

2.配置hdfs-site.xml

1.vi hdfs-site.xml
2.配置成

<configuration><property><!-- 集群数量 --><name>dfs.replication</name><value>3</value></property><property><!-- web端访问地址 --><name>dfs.secondary.http.address</name><value>slave1:50090</value></property></configuration>

3.配置yarn-site.xml

1、vi yarn-site.xml
2.配置成

<configuration><property><!-- 让MR走shuffle --><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><!-- ResourceManager的地址--><name>yarn.resourcemanager.hostname</name><value>master</value></property></configuration>

4.配置mapred-site.xml

1、vi mapred-site.xml
2、配置成

<configuration><property><!-- 让MapReduce程序在Yarn上运行 --><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

5.群起集群

1.vi slaves
2.配置成

master
slave1
slave2

六、将hadoop配置文件,同步到其他两个主机上

1.切换到:cd /usr/local/hadoop-2.7.1/etc/hadoop
2、同步到slave1

scp * root@slave1:`pwd`

3、同步到slave2

scp * root@slave2:`pwd`

七、设置时间同步

如果各个节点之间时间不一致/不同步,集群容易出现一些错误。
ntp服务器可以更新当前机器的时间
1、安装ntp

yum -y install ntp

2、进行同步

ntpdate ntp.aliyun.com

输出这条语句则表示同步成功,三台主机都需要设置哦
同步成

八、NameNode格式化

格式化只需要一次,只在master上执行格式化命令就可以了

hdfs namenode -format

格式化后需要启动集群

start-all.sh

九、查看相关进程

1.在master上执行jps,出现:
在这里插入图片描述

2.在slave1上执行jps,出现:
slave1
2.在slave2上执行jps,出现:
在这里插入图片描述
这样我们的配置就算完成啦!!!

总结

通过这些我们能够大致的明白配置方法,也能够保证我们数据的安全性,毕竟我也是小白,有的地方不对的话,还劳烦大家指正,谢谢~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/18807.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

体验本地部署AI绘画程序

目录 前言 一、AI绘画是什么&#xff1f; 二、Stable Diffusion简介 二、部署步骤 1.克隆代码 2.部署环境 3. 安装 4 一些错误提示的排除 总结 前言 随着人工智能的不断发展&#xff0c;尤其是chatGPT的成熟&#xff0c;AI绘画也获得了热捧&#xff0c;甚至AI画的太空歌…

chatgpt赋能python:Python单机游戏:让你爱不释手的趣味游戏

Python单机游戏&#xff1a;让你爱不释手的趣味游戏 在当今数码化的世界中&#xff0c;单机游戏越来越受欢迎。作为一名有10年Python编程经验的工程师&#xff0c;我想向大家介绍Python单机游戏&#xff0c;这是一种让你爱不释手的趣味游戏。 什么是Python单机游戏&#xff1…

生成式语言大模型压缩技术思考——以ChatGPT为例

ChatGPT引领了生成式语言大模型的应用与技术热潮&#xff0c;首先简单回顾ChatGPT应用范式&#xff1a;将其应用于指定的下游任务时&#xff08;如知识问答、翻译、编码&#xff09;&#xff0c;ChatGPT需要经历三个阶段的训练&#xff08;增强人类语境的猜想&#xff09;&…

我,一名记者,面对ChatGPT慌得一比

出品&#xff5c;网易科技《智见焦点》 作者&#xff5c;赵芙瑶 编辑&#xff5c;丁广胜 人工智能诞生初期&#xff0c;由于技术的不成熟经常被戏谑为“人工智障”&#xff0c;当AI刚刚涉及内容创作领域时&#xff0c;人们也总有“机器缺乏情感”、“语言过于生硬”的刻板印象。…

我(程序大学生)与AI

我与AI的接触历程及感想 首次接触AI 2022年下半年&#xff0c;我开始自学板绘&#xff0c;没过多久&#xff0c;AI绘画横空出世&#xff0c;引起大量关注。在自学板绘的过程中&#xff0c;我逐渐了解到&#xff0c;学习绘画是一件以年为单位的事&#xff0c;有太多知识需要学…

大学生对AI的看法调查

大学生对AI的看法调查 &#xff08;❗主要是对2022届大学生的小范围不全面调查❗&#xff09; AI时代到来&#xff0c;大学生如何看待AI&#xff0c;如何看待AI应用领域大幅扩展后的未来&#xff1f; 对此我非常好奇&#xff0c;于是我自发开展了一次主要围绕本院&#xff08…

谈谈我对ai发展的看法

最近难得有时间&#xff0c;通过白话&#xff0c;聊聊我对AI的看法&#xff0c;仅代表个人观点 首先表明我的观点&#xff1a;人类当前的人工智能成果&#xff0c;仍然停留在一知半解程度。技术的发展是需要长期的积累和进步&#xff0c;目前AI的发展仍处于入门阶段 人类的发展…

GPT-4震撼发布,谁能革了ChatGPT的命?

今晨&#xff0c;OpenAI 发布了多模态预训练大模 GPT-4&#xff0c;OpenAI 老板 Sam Altman 直接开门见山地介绍说&#xff1a;“这是我们迄今为止功能最强大的模型&#xff01;” GTP-4 是目前为止世界第一款高体验、强性能的先进 AI 系统。根据 OpenAI 官方的介绍&#xff0c…

【技术分享】斐讯N1盒子打造智能家居平台

智能家居的概念越来越普及&#xff0c;作为年轻人&#xff0c;尤其是对电子技术爱好者、从业者来说&#xff0c;更加对智能家居控制感兴趣。 斐讯就不用多说了&#xff0c;5-6年前可谓风光无限&#xff0c;无数人“入坑”&#xff0c;我也是其中入局者中的一员&#xff0c;目前…

AIGC接下来的研究思路 生成式AI投资研究框架

AIGC接下来的研究思路 | AIGC 原创 科技周竖人 科技周竖人 2023-04-26 23:22 发表于上海 文 | 科技周竖人 欢迎关注同名公众号获取更详细内容 写在前面&#xff1a;AIGC全称生成式AI&#xff08;AI Generated Content&#xff09;&#xff0c;与传统AI最大的区别体现在其强大…

搜索趋势:微软必应新版集成AI和实时搜索

微软必应的新版已经集成了AI和实时搜索了&#xff0c;而且已经加入基于ChatGPT聊天的搜索功能&#xff0c;新必应上线48小时申请数破百万人申请加入了。大家可以先看看&#xff0c;下文有访问地址。 微软的新版搜索工具必应推出近一周&#xff0c;陆续有用户通过内测申请。与Ch…

年底量产交付 图森未来的生死一搏!

‍数据智能产业创新服务媒体 ——聚焦数智 改变商业 2023年3月28日&#xff0c;全球自动驾驶科技公司图森未来&#xff08;Nasdaq: TSP&#xff09;正式发布基于英伟达DRIVE Orin SoC芯片设计开发的域控制器产品&#xff08;TDC - TuSimple Domain Controller&#xff09;。 来…

云从科技从容大模型:大模型和AI平台什么关系?为什么造行业大模型?

原创&#xff1a;亲爱的数据 2023年5月18日&#xff0c;坐标广州南沙&#xff0c;来自云从科技的“云从从容大模型”正式亮相。 自此&#xff0c;云从科技从CV四小龙“进阶”成为一家AI大模型公司&#xff0c;同时&#xff0c;别忘记云从还有一个身份常被人提起&#xff1a;首家…

基于Avalonia 11.0.0+ReactiveUI 的跨平台项目开发1-通用框架

基于Avalonia 11.0.0ReactiveUI 的跨平台项目开发1-通用框架 Avalonia简介&#xff1a; Avalonia是.NET的一个跨平台UI框架&#xff0c;提供了一个灵活的样式系统&#xff0c;支持广泛的操作系统&#xff0c;如Windows、Linux、macOS&#xff0c;并对Android、iOS和WebAssemb…

一文讲清RabbitMQ、Apache Kafka、ActiveMQ

本文分享了关于Kafka、RabbitMQ和ActiveMQ三个流行的异步通信消息队列&#xff0c;以及三者的区别。 微信搜索关注《Java学研大本营》 如果你正在准备Java开发面试&#xff0c;除了Spring Boot和Microservices&#xff0c;你还应该准备关于 Messaging brokers(消息代理)、Kafk…

小米大数据运维管理体系的建设与实践

作者 | 刘志杰 责编 | 王子彧 出品 | 公众号「BigData 之路」 前段时间&#xff0c;很荣幸能参加云栖大会&#xff0c;并和大家分享了《小米大数据运维管理体系的建设和实践》&#xff0c;给议题分为两个部分&#xff0c;第一部分是聊聊大数据运维数字化转型相关的内容&a…

淘宝网上线 | 历史上的今天

整理 | 王启隆 透过「历史上的今天」&#xff0c;从过去看未来&#xff0c;从现在亦可以改变未来。 今天是 2023 年 5 月 10 日&#xff0c;在 1975 年的今天&#xff0c;索尼推出了 Betamax 盒式磁带录音机。Betamax 在与更便宜的 JVC VHS 设备竞争中失利&#xff0c;最终被淘…

LLM 赋能的 BizDevOps 工具链:扩大端到端触点,内建流程与规范

在本系列的前两篇文章《LLM 赋能的研发效能》、《LLM 赋能的软件架构》里&#xff0c;介绍了我们在 LLM 结合 BizDevOps、软件架构的一系列试验。围绕于这两大类探索&#xff0c;我们构建了两个开源 LLM 工具&#xff1a;AI 辅助编程工具 AutoDev&#xff08;IDEA 插件 &#x…

Zilliz @ GOTC:大模型的记忆体——向量数据库的现在与未来

近日&#xff0c;2023 全球开源技术峰会&#xff08;Global Open-source Technology Conference&#xff0c;以下简称 GOTC 2023 &#xff09; 在上海张江科学会堂召开&#xff0c;Zilliz 创始人兼首席执行官星爵、Zilliz 合伙人兼技术总监栾小凡以及 Zilliz 开发者关系及市场运…

大模型更需要大数据,星环科技的跃升之路

针对AI大模型&#xff0c;又一家中国公司果断出手了&#xff01; 在5月26日上海举行的“向星力未来数据技术峰会”&#xff08;FDTC&#xff09;上&#xff0c;星环科技创始人、CEO孙元浩亲自宣布了业界首创的金融大模型“无涯”、大数据分析大模型SoLar“求索”等行业大模型的…