L1 项目概述与Hadoop部署

1.技术栈：Hadoop+Hive+Sqoop+Flume+Azkaban

在这里插入图片描述
在这里插入图片描述

  • Flume采集Nginx web服务器上的日志，采集完成后存储到Hadoop的平台，最终存储到HDFS上，处理和分析采用Hive的方式，处理完之后利用Sqoop导出到Mysql中，最终利用一个JavaWeb的程序进行展现。
  • 使用技术：
  • 数据平台：Hadoop
  • 数据处理分析：Hive
  • 后端服务：SpringBoot + MyBatis
  • 数据可视化：Vue+Echarts
  • 数据迁移：Sqoop
  • 日志采集：Flume
    Hadoop 为用户提供了一个分布式基础架构，核心一个是HDFS分布式文件存储平台，一个是MapReduce。
  • HDFS文件系统原理

在这里插入图片描述

  • Namenode 记录原信息的路径信息
  • Datanodes 存数据的

MapReduce对数据进行处理：切片，以键值对的方式来存储

在这里插入图片描述

  • 分割
  • 建立新键值对
  • 合并相同的值为一个列表

在这里插入图片描述

  • Spark 实时计算引擎
  • Flume 数据采集
  • Sqoop 数据传输与MySql

课程主要精力放在项目流程搭建，工具的使用，业务逻辑分析上

项目部署

采用伪分布式的形式，一台机器模拟多台机器，

部署完成

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/126946.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Android逆向学习（一）vscode进行android逆向修改并重新打包

Android逆向学习（一）vscode进行android逆向修改并重新打包

Android逆向学习（一）vscode进行android逆向修改并重新打包 写在前面 其实我不知道这个文章能不能写下去，其实我已经开了很多坑但是都没填上，现在专利也发出去了，就开始填坑了，本坑的主要内容是关于androi…
阅读更多...
5、Nginx 配置实例-负载均衡

5、Nginx 配置实例-负载均衡

文章目录 5、Nginx 配置实例-负载均衡5.1 实现效果5.2 准备工作5.3 实验代码5.3.1、轮询（默认）5.3.2、weight5.3.3、ip_hash5.3.4、fair（第三方） 【尚硅谷】尚硅谷Nginx教程由浅入深 志不强者智不达；言不信者行不果。 …
阅读更多...
docker常用中间件安装

docker常用中间件安装

文章目录 1、前言2、中间件安装2.1、mysql2.2、gitlab容器2.3、nacos2.4、redis2.5、xxljob2.6、zipkin2.7、sentinel2.8、seata2.8.1、获取镜像2.8.2、运行容器并获取配置 2.9、rockerMQ2.9.1、rockerMQ-namesrv2.9.2、rockerMQ-broker2.9.3、rockerMQ-console 2.10、jenkins2…
阅读更多...
合宙Air724UG LuatOS-Air LVGL API控件-页面 (Page)

合宙Air724UG LuatOS-Air LVGL API控件-页面 (Page)

页面 (Page) 当控件内容过多，无法在屏幕内完整显示时，可让其在 页面 内显示。 示例代码 page lvgl.page_create(lvgl.scr_act(), nil) lvgl.obj_set_size(page, 150, 200) lvgl.obj_align(page, nil, lvgl.ALIGN_CENTER, 0, 0)label lvgl.label_crea…
阅读更多...
机器学习算法详解1：基础知识合集

机器学习算法详解1：基础知识合集

机器学习算法详解1：基础知识合集 前言 ​ 本系列主要对机器学习上算法的原理进行解读，给大家分享一下我的观点和总结。 本篇前言 ​ 开一个新系列，另外现在开学了，忙起来了，所以更新会很慢。 目录结构 文章目录 机器学…
阅读更多...
彻底掌握Protobuf编码原理与实战

彻底掌握Protobuf编码原理与实战

目录 1.类型2.VARINT 2.1 无符号数2.2 有符号数3.定长 3.1 I64类型3.2 I32类型4.LEN5.代码 学习这些有什么用？ - 如果你是后端开发者，掌握这个对工作非常有用 - 如果你是求职者，面试时可以临危不惧 1.类型 最近看到有直接操作wire type相关的…
阅读更多...
3D点云处理：基于角度的点云边缘点排序（附源码）

3D点云处理：基于角度的点云边缘点排序（附源码）

文章目录 0. 测试效果1. 基本内容2. 实现步骤3. 代码实现文章目录：3D视觉个人学习目录0. 测试效果 边缘点按照排序顺序显示（为便于显示查看，每隔五个点显示一个点） 1. 基本内容 基于角度的边缘点排序主要是基于每一个边缘点与点云中心位姿构成的向量与参考方向之间的…
阅读更多...
deepin V23通过flathub安装steam畅玩游戏

deepin V23通过flathub安装steam畅玩游戏

deepin V23缺少32位库，在星火商店安装的steam,打开报错，无法使用！ 通过flathub网站安装steam,可以正常使用，详细教程如下： flathub网址：主页 | Flathub 注意：flathub下载速度慢，只…
阅读更多...
vite+vue 项目使用 electron

vite+vue 项目使用 electron

创建 vitevue 项目 npm create viteElectron 官方文档 electron 安装 安装 electron npm install --save-dev electron新建 electron 的入口文件，我这里在根目录新建 electron 文件夹，然后新建main.js和preload.js文件 根据官网说明，将以下…
阅读更多...
node版本问题

node版本问题

服务器下载下来的vue项目启动出现下列问题 npm ERR! path E:\vueEnv\app\node_modules\node-sass npm ERR! command failed npm ERR! command C:\Windows\system32\cmd.exe /d /s /c node scripts/build.js npm ERR! Building: C:\Program Files\nodejs\node.exe E:\vueEnv\ap…
阅读更多...
单目标应用：基于麻雀搜索算法SSA的微电网优化调度MATLAB

单目标应用：基于麻雀搜索算法SSA的微电网优化调度MATLAB

一、微网系统运行优化模型 参考文献： [1]李兴莘,张靖,何宇,等.基于改进粒子群算法的微电网多目标优化调度[J].电力科学与工程, 2021, 37(3):7 二、麻雀搜索算法简介 麻雀搜索算法 (Sparrow Search Algorithm, SSA) 是一种新型的群智能优化算法，于2020…
阅读更多...
springboot项目配置flyway菜鸟级别教程

springboot项目配置flyway菜鸟级别教程

1、Flyway的工作原理 Flyway在第一次执行时，会创建一个默认名为flyway_schema_history的历史记录表，这张表会用来跟踪或记录数据库的状态，然后每次项目启动时都会自动扫描在resources/db/migration下的文件的版本号并且通过查询flyway_schem…
阅读更多...
Error running ‘xxx‘: Command line is too long. Shorten command line for xxxx

Error running ‘xxx‘: Command line is too long. Shorten command line for xxxx

完整报错信息：Error running ArticleFreemarkerTest.test: Command line is too long. Shorten command line for ArticleFreemarkerTest.test or also for JUnit default configuration. 翻译为运行“ArticleFreemarkerTest.test”时出错，命令行太长。…
阅读更多...
【2023年数学建模国赛】C题代码与技术文档分享

【2023年数学建模国赛】C题代码与技术文档分享

2023年数学建模国赛C题 第一问代码code1_Q1_1.mCode1_Q1_2.mCode1_Q1_3.m实验结果 技术文档问题分析假设符号说明1 第一问1.1分布检验模型的建立1.2 相关性模型的建立1.3各种类蔬菜的销量分布及相关关系 写在最后 第一问代码 code1_Q1_1.m clc clear Dxlsread(合成表1,合成表…
阅读更多...
常见缺少msvcp140.dll问题及解决方法，分享多种方法帮你解决

常见缺少msvcp140.dll问题及解决方法，分享多种方法帮你解决

在日常使用电脑的过程中，我们可能会遇到各种问题，比如电脑提示msvcp140.dll文件丢失。这个问题通常是由于某些程序或游戏需要这个dll文件来正常运行，但是由于某种原因，这个文件被误删或者损坏了。那么，如何解决这个问题…
阅读更多...
MySQL进阶 —— 超详细操作演示！！！（上）

MySQL进阶 —— 超详细操作演示！！！（上）

MySQL进阶 —— 超详细操作演示！！！（上） 一、存储引擎1.1 MySQL 体系结构1.2 存储引擎介绍1.3 存储引擎特点1.4 存储引擎选择 二、索引2.1 索引概述2.2 索引结构2.3 索引分类2.4 索引语法2.5 SQL 性能分析2.6 索引使用2…
阅读更多...
[学习笔记]CS224W

[学习笔记]CS224W

资料： 课程网址 斯坦福CS224W图机器学习、图神经网络、知识图谱【同济子豪兄】 斯坦福大学CS224W图机器学习公开课-同济子豪兄中文精讲 图的基本表示 图是描述各种关联现象的通用语言。与传统数据分析中的样本服从独立同分布假设不一样，图数据自带关联…
阅读更多...
Mysql 性能分析(慢日志、profiling、explain)、读写分离（主从架构）、分库分表（垂直分库、垂直分表、水平分表）

Mysql 性能分析(慢日志、profiling、explain)、读写分离（主从架构）、分库分表（垂直分库、垂直分表、水平分表）

查看系统性能参数 一条sql查询语句在执行前，需要确定查询执行计划，如果存在多种执行计划的话，mysql会计算每个执行计划所需要的成本，从中选择 成本最小的一个作为最终执行的执行计划 想要查看某条sql语句的查询成本，可…
阅读更多...
SpringMVC框架@RequestMapping用法，处理器方法参数接收，处理器方法返回值详解

SpringMVC框架@RequestMapping用法，处理器方法参数接收，处理器方法返回值详解

1. RequestMapping 定义请求规则 1.1 指定模块名称 通过RequestMapping 注解可以定义处理器对于请求的映射规则。该注解可以注解在方 法上，也可以注解在类上，但意义是不同的。value 属性值常以“/”开始。RequestMapping 的 value 属性用于定义所匹配请…
阅读更多...
大数据下的精准营销获客

大数据下的精准营销获客

2012年以后，大数据（big data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。哈佛大学社会学教授加里金说“这是一场革命，庞大的数据资源使得各个…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023