Hadoop

阅读前请看一下:我是一个热衷于记录的人,每次写博客会反复研读,尽量不断提升博客质量。文章设置为仅粉丝可见,是因为写博客确实花了不少精力。希望互相进步谢谢!!

文章目录

  • 阅读前请看一下:我是一个热衷于记录的人,每次写博客会反复研读,尽量不断提升博客质量。文章设置为仅粉丝可见,是因为写博客确实花了不少精力。希望互相进步谢谢!!
  • 1、课程简介
  • 2、概论
    • 2.1、大数据的概念
    • 2.2、大数据的特点
    • 2.3、大数据的应用场景
    • 2.4、大数据的发展场景
    • 2.5、大数据的未来工作内容
  • 3、知识体系(框架)
  • 4、概念
    • 4.1、Hadoop是什么
    • 4.2、Hadoop发展历史
    • 4.3、Hadoop三大发行版本
    • 4.4、Hadoop的优势
    • 4.5、Hadoop的组成(==面试重点!!!==)
      • 4.5.1、HDFS概述
      • 4.5.2、YARN概述
      • 4.5.3、MapReduce概述
      • 4.5.4、HDFS、YARN、MapReduce关系
    • 4.6、大数据技术生态体系
    • 4.7、推荐系统案例
  • 5、Hadoop环境准备
    • 5.1 、模板虚拟机准备
      • 5.1.1、VMware安装
      • 5.1.2、Centos7.5软硬件安装
      • 5.1.3、IP和主机名配置
      • 5.1.4、Xshell远程访问工具
      • 5.1.5、模板虚拟机准备完成
    • 5.2 、克隆
    • 5.3 、按照JDK、Hadoop
  • 6、Hadoop生产集群搭建
  • 、总结

提示:以下是本篇文章正文内容

1、课程简介

在这里插入图片描述



2、概论

2.1、大数据的概念

在这里插入图片描述


2.2、大数据的特点

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述


2.3、大数据的应用场景


2.4、大数据的发展场景


2.5、大数据的未来工作内容

在这里插入图片描述
在这里插入图片描述



3、知识体系(框架)

在这里插入图片描述



4、概念

4.1、Hadoop是什么

在这里插入图片描述


4.2、Hadoop发展历史

在这里插入图片描述
在这里插入图片描述


4.3、Hadoop三大发行版本

在这里插入图片描述


4.4、Hadoop的优势

在这里插入图片描述
在这里插入图片描述


4.5、Hadoop的组成(面试重点!!!

在这里插入图片描述

4.5.1、HDFS概述

Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。

在这里插入图片描述
在这里插入图片描述

4.5.2、YARN概述

Yet Another Resource Negotiation,另一种资源协调者,是Hadoop的资源管理器。

在这里插入图片描述

4.5.3、MapReduce概述

在这里插入图片描述

4.5.4、HDFS、YARN、MapReduce关系

在这里插入图片描述


4.6、大数据技术生态体系

在这里插入图片描述


4.7、推荐系统案例

在这里插入图片描述



5、Hadoop环境准备

5.1 、模板虚拟机准备

5.1.1、VMware安装

在这里插入图片描述

5.1.2、Centos7.5软硬件安装

在这里插入图片描述
1、安装硬件:虚拟机;
2、安装软件:操作系统;

  • 1、“/boot”:刚启动电脑时分配多少资源,1g;

  • 2、“/swap”:电脑内存不够用时,硬盘虚拟成内存;

  • 3、“/”:根目录;

  • kdump:崩溃时自动备份,学习时可禁用。
    2、IP
    3、名称

5.1.3、IP和主机名配置

要配置三个IP:
在这里插入图片描述

  • 1、hadoop100
    vim /etc/sysconfig/network-scripts/ifcfg-ens33
    在这里插入图片描述

  • 2、Vmware
    在这里插入图片描述
    在这里插入图片描述

  • 3、Win10
    在这里插入图片描述

修改主机名称+映射主机名称
vim /etc/hostname
vim /etc/hosts
在这里插入图片描述
在这里插入图片描述

5.1.4、Xshell远程访问工具

5.1.5、模板虚拟机准备完成

5.2 、克隆

5.3 、按照JDK、Hadoop



6、Hadoop生产集群搭建

  1. 、本地模式
  2. 、完全分布式集群(开发和面试的重点)


、总结


码字不易,谢谢点赞!!!
码字不易,谢谢点赞!!!
码字不易,谢谢点赞!!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/113165.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

入门vue——创建vue脚手架项目 以及 用tomcat和nginx分别部署vue项目(vue2)

入门vue——创建vue脚手架项目 以及 用tomcat和nginx分别部署vue项目(vue2) 1. 安装npm2. 安装 Vue CLI3. 创建 vue_demo1 项目(官网)3.1 创建 vue_demo1 项目3.1.1 创建项目3.1.2 解决 sudo 问题 3.2 查看创建的 vue_demo1 项目3…

公司内部网段多管控乱,该如何规范跨网文件传输交换?

古往今来,高筑墙一直是有效的防御措施。从边塞长城到护城河外的高高城墙,都是利用隔离地域的形式实现保护安全域的效果。这样一来,城内的安全域可以在遇到危险时受到有效保护。 在企业网络安全防护方面,网络安全域隔离也是网络安全…

Ansible学习笔记10

1、在group1的被管理机里的mariadb里创建一个abc库; 1) 然后我们到agent主机上进行检查: 可以看到数据库已经创建成功。 再看几个其他命令: #a组主机重启mysql,并设置开机自启 ansible a -m service -a "namemy…

Jupyter installation Tutorial

文章目录 1. 面向的系统2. 什么是Jupyter?3. 安装Python环境4. 安装Jupyter notebook5. Jupyter的启动和配置6. Jupyter的使用技巧7. conclusion参考文献 1. 面向的系统 Windows安装 2. 什么是Jupyter? Jupyter Notebook是一个开源的Web应用程序&…

问道管理:2023股票印花税是多少钱?2023印花税新规?

在a股市场上,投资者交易股票需求交纳必定的佣钱费用、过户费用以及印花税,其间印花税率和过户费率是固定的,而佣钱费率不同的证券公司有所不同,那么,2023股票印花税是多少钱?2023印花税新规?下面…

Mac 安装php多版本,brew安装php8.0

因为需要我要在mac上装两个php版本,先前我已经装过php7.4,下面我们逐步安装php8.0 开始安装8.0: 直接运行安装 brew install php8.0 遇到问题怀疑是仓库太老了,更新一下homebrew ,重新安装 brew update 安装成功了,不过看了下版本好像不能正…

Python2021年3月Python二级 -- 编程题解析

题目一 设计一个停车场收费计算器 (收费规则,2小时以内收费5元,超出部分每小时加收2元),:要求如下: 1.设计的程序要能输入停车时间 (单位为小时,输入的小时数为整数 2.程序可以根据输入的停车时间自动计算出停车费,并且…

非计算机科班如何丝滑转码?(本人就是有点不丝滑)

我觉得无非三个办法可以选择(当然可能有其他方法) 自学 报班 有师傅带 但是在学习之前,你一定要明确你学习编程的目的是什么! 游戏开发?后台研发?爬虫工程师?前端程序员?数据分析师? 或者 仅仅是想做一…

plumelog介绍与应用-一个简单易用的java分布式日志系统

官方文档:http://www.plumelog.com/zh-cn/docs/FASTSTART.html 简介 无代码入侵的分布式日志系统,基于log4j、log4j2、logback搜集日志,设置链路ID,方便查询关联日志基于elasticsearch作为查询引擎高吞吐,查询效率高全…

2023最新Python重点知识万字汇总

这是一份来自于 SegmentFault 上的开发者 二十一 总结的 Python 重点。由于总结了太多的东西,所以篇幅有点长,这也是作者"缝缝补补"总结了好久的东西。 **Py2 VS Py3** * print成为了函数,python2是关键字* 不再有unicode对象…

ThinkPHP 集成 jwt 技术 token 验证

ThinkPHP 集成 jwt 技术 token 验证 一、思路流程二、安装 firebase/php-jwt三、封装token类四、创建中间件,检验Token校验时效性五、配置路由中间件六、写几个测试方法,通过postman去验证 一、思路流程 客户端使用用户名和密码请求登录服务端收到请求&…

十七、命令模式

一、什么是命令模式 命令(Command)模式的定义:将一个请求封装为一个对象,使发出请求的责任和执行请求的责任分割开。这样两者之间通过命令对象进行沟通,这样方便将命令对象进行储存、传递、调用、增加与管理。   命令…

电子书分享教程分享

之前一篇文章中有教程分享,但是百度网盘普遍不太好使,所以新开一篇,分享使用阿里网盘。 阿里云盘分享https://www.aliyundrive.com/s/vd4Lh1rZ6rt 阿里云盘分享https://www.aliyundrive.com/s/vMkcpJDVxCV 阿里云盘分享https://www.aliyundri…

机器学习——手写数字识别

0、:前言 这篇文章能够帮助你从数据到模型的整个过程实现不过至于安装第三方库等基础问题,本文不涉及,因为确实不难,搜一搜一大把本此实验运行环境为jupyter,当然通过pycharm也是可行的 1、数据: 手写数字…

PyQt6 GUI界面设计和Nuitka包生成exe程序(全笔记)

PyQt6 GUI界面设计和Nuitka包,生成exe程序全笔记 目录一、PyQt6包安装1.1 进行环境配置和安装1.2 检查包是否安装成功。1.3 运行desinger.exe二、GUI界面设计,写程序,并能运行成功。三、Nuitka打包生成exe程序3.1 做Nuitka安装准备工作(1)安装C编译器,设置环境变量3.2 配…

各个微服务模块之间互相依赖调用的问题

首先是模块之间不能够循环引用,否则会报循环依赖引入的错误。 没有了模块之间的相互依赖,在项目中这两个模块是相互调用的,分别各自定义相应的Feign接口,如下: 最开始写的运行报错的代码如下: FeignCli…

机器学习知识经验分享之六:决策树

python语言用于深度学习较为广泛,R语言用于机器学习领域中的数据预测和数据处理算法较多,后续将更多分享机器学习数据预测相关知识的分享,有需要的朋友可持续关注,有疑问可以关注后私信留言。 目录 一、R语言介绍 二、R语言安装…

<AMBA总线篇> AXI总线协议介绍

目录 01 AXI协议简介 AXI协议特性 AXI协议传输特性 02 AXI协议架构 AXI协议架构 write transaction(写传输) read tramsaction(读传输) Interface and interconnect 典型的AXI系统拓扑 03 文章总结 大家好,这里是程序员杰克。一名平平无奇的嵌入式软件工程…

【论文笔记】最近看的时空数据挖掘综述整理8.27

Deep Learning for Spatio-Temporal Data Mining: A Survey 被引用次数:392 [Submitted on 11 Jun 2019 (v1), last revised 24 Jun 2019 (this version, v2)] 主要内容: 该论文是一篇关于深度学习在时空数据挖掘中的应用的综述。论文首先介绍了时空数…

【Java架构-包管理工具】-Maven私服搭建-Nexus(三)

本文摘要 Maven作为Java后端使用频率非常高的一款依赖管理工具,在此咱们由浅入深,分三篇文章(Maven基础、Maven进阶、私服搭建)来深入学习Maven,此篇为开篇主要介绍Maven私服搭建-Nexus 文章目录 本文摘要1. Nexus安装…