大数据(四)主流大数据技术

大数据(四)主流大数据技术

 一、写在前面的话

2ab463de26a541818271efa176656ae6.png

To 那些被折磨打击的好女孩(好男孩):

   有些事情我们无法选择,也无法逃避伤害。

   但请你在任何时候都记住:

   你可能在一些人面前,一文不值,被伤害得体无完肤,

   但一定会是另一些人心里的无价之宝,他(她)会把你看得比自己还重要。

   做你自己就好,无需刻意改变任何,爱你的人,自然爱你。

   谨记自己的价值所在!你活在你自己的世界,活在那些爱你的人的心中!

   逆境清醒

2023.8.27

f3751a45350f4910835ba888fb79118a.gif

二、大数据技术

主流的大数据技术可以分为两大类。

   一类面向非实时批处理业务场景,着重用于处理传统数据处理技术在有限的时空环境里无法胜任的TB级、PB级海量数据存储、加工、分析、应用等。如:用户行为分析、订单防欺诈分析、用户流失分析、数据仓库等,这类业务场景的特点,是非实时响应。通常,一些单位在晚上交易结束时,抽取各类数据进入大数据分析平台,在数小时内获得计算结果,并用于第二天的业务。比较主流的支撑技术为HDFS、MapReduce、Hive等。

   另一类面向实时处理业务场景,如微博应用、实时社交、实时订单处理等,这类业务场景,特点是强实时响应,用户发出一条业务请求,在数秒钟之内要给予响应,并且确保数据完整性。比较主流的支撑技术为HBase、Kafka、Storm等。

(1)HDFS

 

   HDFS指Hadoop分布式文件系统(Hadoop Distributed File System),是Apache Hadoop项目的核心组成部分,是一种高可用性、高可靠性、高扩展性、高容错性的分布式文件系统。它可以在一组廉价的计算机上存储和处理大规模数据集,通过在多个节点之间分布数据和计算任务,实现了大规模数据的并行处理。

   HDFS是Hadoop的核心子项目,是整个Hadoop平台数据存储与访问的基础。基于Linux本地文件系统上的文件系统。在此之上,承载其他如MapReduce、HBase等子项目的运转。它是易于使用和管理的分布式文件系统。

   HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的。

HDFS技术有以下特点:

   1.大规模存储:HDFS可以处理PB级别的大规模数据集,支持数据文件的分布式存储和管理。
   2.高可靠性:HDFS是基于冗余的数据存储方式,将数据分散到不同的节点上,任意一台服务器宕机不会影响数据的完整性和可用性。
   3.高可扩展性:HDFS可以在成百上千台机器上运行,支持动态扩展,方便用户随着数据量的增长进行扩容。
   4.高容错性(fault-tolerent):HDFS通过数据块的多副本备份来实现数据的容错,如果某个节点宕机,其他节点可以继续提供数据服务。
   5.高效性:HDFS支持数据的批量读写,提供了高效的数据传输机制,能够在集群中实现数据的快速传输和处理。

   6.高吞吐量(high throughput)

   7.HDFS 放宽了(relax)POSIX 的要求(requirements)这样可以实现流的形式访问(streaming access)文件系统中的数据。

   总之,HDFS技术是实现大数据存储、管理、处理的必备技术之一,它可以为不同行业的企业提供高效可靠的数据存储解决方案。

(2)MapReduce

 

   MapReduce是一个软件架构,在数以千计的普通硬件构成的集群中以平行计算的方式处理海量数据,该计算框架具有很高的稳定性和容错能力。MapReduce对负责逻辑进行高度归约,抽象为Mapper和Reducer类,复杂逻辑通过理解,转化为符合MapReduce函数处理的模式。

   MapReduce job会划分输入数据集为独立的计算块,这些分块被map任务以完全并行、独立的模式处理。MapReduce框架对maps的输出进行排序,排序后,数据作为reduce任务的输入数据。job的input和output数据都存储在HDFS文件系统中。计算框架管理作业调度、监控作业、重新执行失败任务。

   MapReduce是一个用于大规模数据处理的分布式计算框架,

MapReduce软件架构可以分为以下三个层次

   ♦ 应用层:MapReduce应用程序开发人员使用MapReduce API编写应用程序,将问题分解为一个个独立且可并行处理的任务。这些任务被分为两个阶段:map阶段和reduce阶段,在map阶段将数据拆分成小块并作为键值对进行处理,然后将处理好的数据按照键进行分组处理和合并,最终生成想要的结果。

   ♦ 计算层:MapReduce计算集群由两种类型的节点组成:一个Master节点和一组Worker节点。Master节点负责协调整个计算过程,包括任务的划分、Worker节点的监控和数据传输等。Worker节点执行分配给它们的任务,并将结果返回给Master节点。计算层中的每个节点都是一台物理计算机或虚拟机,并且都可以在系统范围内通信。

   ♦ 存储层:MapReduce存储层使用Hadoop Distributed File System(HDFS)存储大量数据。HDFS是一种可扩展且容错的文件系统,可以将数据复制到不同的节点上,以保证数据的可靠性。HDFS为MapReduce提供了高效的数据存储和管理方式。

   以上就是MapReduce软件架构的三个层次。MapReduce通过将数据分解成小块并在计算节点之间分配任务,实现了大规模数据的高效处理。

(3)YARN

 

    Apache Hadoop YARN(Yet Another Resource Negotiator,另一种资源协调者)是从Hadoop 0.23进化来的一种新的资源管理和应用调度框架。基于YARN,可以运行多种类型的应用程序,例如MapReduce、Spark、Storm等。YARN不再具体管理应用,资源管理和应用管理是两个低耦合的模块。

   YARN从某种意义上来说,是一个云操作系统(Cloud OS)。基于该操作系统之上,程序员可以开发多种应用程序,例如批处理MapReduce程序、Spark程序以及流式作业Storm程序等。这些应用,可以同时利用Hadoop集群的数据资源和计算资源。

   YARN(Yet Another Resource Negotiator)是Hadoop生态系统中的一个资源管理器,它的主要功能是对集群资源进行统一的管理和调度,为多个应用程序分配集群资源,提高了Hadoop集群的资源利用率。YARN作为Hadoop 2.0的一个重要组件,大大扩展了Hadoop的应用场景,支持多种计算模型,包括MapReduce、Spark、Storm等。

YARN的主要功能包括:

   1.资源管理:YARN可以管理集群中不同节点的资源,并为不同的应用程序分配资源,保证应用程序的正常运行。

   2.调度管理:YARN可以根据不同应用程序的需求,按照指定的策略和规则对集群资源进行调度,并保证应用程序的公平共享资源。

   3.应用程序管理:YARN可以自动管理应用程序的生命周期,包括应用程序启动、监控、重启和关闭等操作。

   4.安全管理:YARN可以提供强大的安全管理功能,包括用户认证、授权和数据加密等,保证集群的安全性和稳定性。

   总之,YARN作为Hadoop生态系统中的重要组件,为多个应用程序的运行提供了可靠的资源管理和调度功能,广泛应用于互联网、金融、医疗等各个行业。

(4)HBase

 

   HBase是Hadoop平台中重要的非关系型数据库,它通过线性可扩展部署,可以支撑PB级数据存储与处理能力。

   作为非关系型数据库,HBase适合于非结构化数据存储,它的存储模式是基于列的。

   HBase是一个开源的分布式NoSQL数据库,在Hadoop生态系统中,它是Hadoop数据库、   MapReduce和HDFS的组件之一。HBase基于Google的BigTable论文而来,它是一个高可靠性、高可扩展性、高性能的数据库,设计用于在大规模数据集上运行。HBase具有以下特点:

   以列簇为基本存储单位,支持动态列。

   支持自动分区、自动负载均衡、自动故障转移。

   支持半结构化数据和非结构化数据,没有固定的表模式。

   支持高并发读写操作、多版本数据、数据压缩、数据缓存。

    HBase高度可伸缩,可以支持数千亿行数据,每行可以有数万个列。

   HBase通常用于存储半结构化数据,例如日志、社交媒体数据、传感器数据、网络数据、图像和音频等。它可以根据需要动态调整存储和处理容量,可以承载大规模数据集的查询和分析,是处理大数据的理想选择。

(5)Hive

   Apache Hive是一个建立在Hadoop架构之上的数据仓库。它能够提供数据的精炼,查询和分析。Apache Hive起初由Facebook开发,目前也有其他公司使用和开发Apache Hive,例如Netflix等。

   Hive是Apache基金会下面的开源框架,是基于Hadoop的数据仓库工具,它可以把结构化的数据文件映射为一张数据仓库表,并提供简单的SQL(Structured Query Language)查询功能,后台将SQL语句转换为MapReduce任务来运行。

   使用Hive,可以满足一些不懂MapReduce但懂SQL的数据库管理员的需求,让他们能够平滑地使用大数据分析平台。

   Hive是基于Hadoop的数据仓库工具,是一个数据仓库基础设施,能够将结构化的数据文件映射为一张数据库表,并提供了一套类SQL查询语言HiveQL来查询数据。Hive是为了方便SQL开发人员来处理大型数据集而设计的,它可以通过HQL将类SQL的语法转换成MapReduce任务来执行,从而利用Hadoop集群处理海量数据。

   Hive支持多种数据源,包括HDFS、HBase、本地文件系统等。它可以通过内置的数据存储格式,如文本、序列化、ORC等,存储海量数据,并提供了数据压缩、数据分区、数据桶等特性来优化性能。

   Hive拥有良好的扩展性和生态系统,可以通过UDF(用户自定义函数)、UDAF(用户自定义聚合函数)等方式扩展功能,并且支持很多第三方工具的集成,如JDBC、ODBC、Tableau等。

   总之,Hive是一个强大的数据仓库工具,对于需要处理大量数据的场景具有很大的实用价值。

(6)Kafka

 

   Apache Kafka是分布式“发布-订阅”消息系统,最初,它由LinkedIn公司开发,而后成为Apache项目。Kafka是一种快速、可扩展的、设计时内在地就是分布式的、分区的和可复制的提交日志服务。

   Kafka是一个分布式系统,易于向外扩展,可为发布和订阅提供高吞吐量,并且支持多订阅者,当失败时,能自动平衡消费者;Kafka可将消息持久化存储,既可面向非实时业务,也可以面向实时业务。

   Apache Kafka是由Apache软件基金会开发的一种分布式流处理平台,它具有高可靠性、高扩展性和高吞吐量的特点。Kafka基于发布/订阅模式,主要用于记录流式数据,例如日志、事件和指标等。

Kafka的架构包括以下几个组件:

Broker:Kafka集群中的每个节点都称为Broker,负责存储和处理数据。

Topic:数据记录存储在一个或多个Topic中。每个Topic分为多个Partition,每个Partition都可以在不同的Broker上分布。

Producer:Producer负责将数据发送到Kafka集群中的Topic,可以指定数据发送到哪个Partition。

Consumer:Consumer从Kafka集群中Topic订阅数据,并处理这些数据。Consumer可以组成Consumer Group,每个Group中的Consumer共同消费一个或多个Partition中的数据。

Kafka被广泛应用于各种场景,例如日志收集、实时数据流处理、事件驱动架构等。它与Hadoop、Spark等开源技术紧密结合,成为了大数据生态系统中不可或缺的一部分。
 

(7)Storm

   Storm是一个免费开源、分布式、高容错的实时计算系统。它能够处理持续不断的流计算任务,目前,比较多地被应用到实时分析、在线机器学习、ETL等领域。

   Storm是一个开源的分布式实时计算系统,主要用于处理大量的流式数据。它可以实时地获取数据、处理数据、并将处理过的数据发送到其他系统。Storm具有高可扩展性、容错性和可靠性,能够在分布式集群中运行。

   Storm的核心概念是Topology(拓扑),一个Topology是一种数据流处理的方式,它由Spout和Bolt组成。Spout是用于数据源输入的组件,负责将数据输入到Topology中,Bolt则是用于数据处理和数据传递的组件,将接收Spout发送过来的数据,处理后再将处理过的数据传递给下一个Bolt或者Sink。Topology中的每个Bolt都可以并行运行,让数据处理更加高效。

   Storm还拥有内置的容错机制,能够在集群节点出现故障时自动重启或者切换到其他节点上运行,实现了高可靠性的分布式计算。同时,Storm还支持多种数据源(如Kafka、RabbitMQ等)和数据存储(如HDFS、Cassandra、Redis等),可以处理不同类型的数据,并将结果存储到不同的数据存储中。

   总之,Storm 是一个功能强大的实时计算框架,被广泛应用于各行各业的实时数据处理领域。

Storm与Hadoop的对比

结构HadoopStorm
主节点JobTrackerNimbus
从节点TaskTrackerSupervisor
应用程序JobTopology
工作进程名称ChildWorker
计算模型Map / ReduceSpout / Bolt

  

大数据文章:

  • 大数据(一)定义、特性
  • 大数据(二)大数据行业相关统计数据
  • 大数据(三)大数据相关的职位
  • 基于Echarts构建大数据可视化大屏
  • 大数据(四)主流大数据技术

          推荐阅读:

[你找到牵手一辈子的人了吗?] 七夕情人节特辑
数字技术能让古籍“活过来”吗?
心情不好时,帮自己训练个AI情绪鼓励师吧(基于PALM 2.0 finetune)
深度学习框架TensorFlow
人工智能开发人员工作流程、看法、工具统计数据
2023 年6月开发者调查统计结果——最流行的技术(2)
2023 年6月开发者调查统计结果——最流行的技术(1)
让Ai帮我们画个粽子,它会画成什么样呢?

9e598365ba5344e282453e71a676a056.jpeg​​

b9b9f2b9374646798ca554110a498cda.jpeg​​

23f61e3eac99458296be0fedea10019e.jpeg​​

给照片换底色(python+opencv)猫十二分类基于大模型的虚拟数字人__虚拟主播实例

bfa502b957c247a7872d7e645d4c6f03.jpeg​​

2f073e39924e42d2b33221f4262dcc1d.jpeg​​

9d7e2b6a00aa45fd82291f0d5f9eea7e.jpeg​​

计算机视觉__基本图像操作(显示、读取、保存)直方图(颜色直方图、灰度直方图)直方图均衡化(调节图像亮度、对比度)

01bfb23f2f894ee0b0164f52e57bbbbc.png​​

47c92d6cf9fe4d279a142480a4340a0d.png​​

1620a2a7b0914c42b3a8254e94269a79.png​​

 语音识别实战(python代码)(一)

 人工智能基础篇

 计算机视觉基础__图像特征

93d65dbd09604c4a8ed2c01df0eebc38.png​​

 matplotlib 自带绘图样式效果展示速查(28种,全)

074cd3c255224c5aa21ff18fdc25053c.png​​

Three.js实例详解___旋转的精灵女孩(附完整代码和资源)(一)

fe88b78e78694570bf2d850ce83b1f69.png​​

62e23c3c439f42a1badcd78f02092ed0.png​​

cb4b0d4015404390a7b673a2984d676a.png​​

立体多层玫瑰绘图源码__玫瑰花python 绘图源码集锦

 Python 3D可视化(一)

 让你的作品更出色——词云Word Cloud的制作方法(基于python,WordCloud,stylecloud)

e84d6708316941d49a79ddd4f7fe5b27.png​​

938bc5a8bb454a41bfe0d4185da845dc.jpeg​​

0a4256d5e96d4624bdca36433237080b.png​​

 python Format()函数的用法___实例详解(一)(全,例多)___各种格式化替换,format对齐打印

 用代码写出浪漫__合集(python、matplotlib、Matlab、java绘制爱心、玫瑰花、前端特效玫瑰、爱心)

python爱心源代码集锦(18款)

dc8796ddccbf4aec98ac5d3e09001348.jpeg​​

0f09e73712d149ff90f0048a096596c6.png​​

40e8b4631e2b486bab2a4ebb5bc9f410.png​​

 Python中Print()函数的用法___实例详解(全,例多)

 Python函数方法实例详解全集(更新中...)

 《 Python List 列表全实例详解系列(一)》__系列总目录、列表概念

09e08f86f127431cbfdfe395aa2f8bc9.png​​

6d64357a42714dab844bf17483d817c0.png​​

用代码过中秋,python海龟月饼你要不要尝一口?

 python练习题目录

03ed644f9b1d411ba41c59e0a5bdcc61.png​​

daecd7067e7c45abb875fc7a1a469f23.png​​

17b403c4307c4141b8544d02f95ea06c.png​​

草莓熊python turtle绘图(风车版)附源代码

 ​草莓熊python turtle绘图代码(玫瑰花版)附源代码

 ​草莓熊python绘图(春节版,圣诞倒数雪花版)附源代码

4d9032c9cdf54f5f9193e45e4532898c.png​​

c5feeb25880d49c085b808bf4e041c86.png​​

 巴斯光年python turtle绘图__附源代码

皮卡丘python turtle海龟绘图(电力球版)附源代码

80007dbf51944725bf9cf4cfc75c5a13.png​​

1ab685d264ed4ae5b510dc7fbd0d1e55.jpeg​​

1750390dd9da4b39938a23ab447c6fb6.jpeg​​

 Node.js (v19.1.0npm 8.19.3) vue.js安装配置教程(超详细)

 色彩颜色对照表(一)(16进制、RGB、CMYK、HSV、中英文名)

2023年4月多家权威机构____编程语言排行榜__薪酬状况

aa17177aec9b4e5eb19b5d9675302de8.png​​​

38266b5036414624875447abd5311e4d.png​​

6824ba7870344be68efb5c5f4e1dbbcf.png​​

 手机屏幕坏了____怎么把里面的资料导出(18种方法)

【CSDN云IDE】个人使用体验和建议(含超详细操作教程)(python、webGL方向)

 查看jdk安装路径,在windows上实现多个java jdk的共存解决办法,安装java19后终端乱码的解决

1408dd16a76947e4a7eb3c54cd570d95.png​​

vue3 项目搭建教程(基于create-vue,vite,Vite + Vue)

fea225cb9ec14b60b2d1b797dd8278a2.png​​

bba02a1c4617422c9fbccbf5325850d9.png​​

37d6aa3e03e241fa8db72ccdfb8f716b.png​​

2023年春节祝福第二弹——送你一只守护兔,让它温暖每一个你【html5 css3】画会动的小兔子,炫酷充电,字体特

 别具一格,原创唯美浪漫情人节表白专辑,(复制就可用)(html5,css3,svg)表白爱心代码(4套)

SVG实例详解系列(一)(svg概述、位图和矢量图区别(图解)、SVG应用实例)

5d409c8f397a45c986ca2af7b7e725c9.png​​

6176c4061c72430eb100750af6fc4d0e.png​​

1f53fb9c6e8b4482813326affe6a82ff.png​​

【程序人生】卡塔尔世界杯元素python海龟绘图(附源代码),世界杯主题前端特效5个(附源码)HTML+CSS+svg绘制精美彩色闪灯圣诞树,HTML+CSS+Js实时新年时间倒数倒计时(附源代码)

 2023春节祝福系列第一弹(上)(放飞祈福孔明灯,祝福大家身体健康)(附完整源代码及资源免费下载)

fffa2098008b4dc68c00a172f67c538d.png​​

5218ac5338014f389c21bdf1bfa1c599.png​​

c6374d75c29942f2aa577ce9c5c2e12b.png​​

 tomcat11、tomcat10 安装配置(Windows环境)(详细图文)

 Tomcat端口配置(详细)

 Tomcat 启动闪退问题解决集(八大类详细)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/111050.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

nacos服务器启动报错集合

报错1 Error creating bean with name ‘user‘: Unsatisfied dependency expressed through field ‘jwtTokenManage 开启鉴权之后,你可以自定义用于生成JWT令牌的密钥,application.properties中的配置信息为: ### Since 1.4.1, worked when…

git版本管理加合并笔记

目录 1.创建空文件夹,右键Bash here打开 2.打开链接,点击克隆下载,复制SSH链接 3.输入git SSH链接 回车 4.换成https在桌面上进行克隆仓库就正常了 5.去vscode里改东西 6.提交 7.创建dev分支 8.在dev里修改内容,提交&…

自动化测试(三):接口自动化pytest测试框架

文章目录 1. 接口自动化的实现2. 知识要点及实践2.1 requests.post传递的参数本质2.2 pytest单元测试框架2.2.1 pytest框架简介2.2.2 pytest装饰器2.2.3 断言、allure测试报告2.2.4 接口关联、封装改进YAML动态传参(热加载) 2.3 pytest接口封装&#xff…

screen命令,可以断开服务器连接,依旧能运行你的程序了

可以参考博客1:https://blog.csdn.net/nima_zhang_b/article/details/82797928 可以参考博客2:https://blog.csdn.net/herocheney/article/details/130984403 Linux中的screen是一个命令行工具,可以让用户在同一个终端会话中创建多个虚拟终端。它非常有…

顺序表链表OJ题(3)——【数据结构】

W...Y的主页 😊 代码仓库分享 💕 前言: 今天是链表顺序表OJ练习题最后一次分享,每一次的分享题目的难度也再有所提高,但是我相信大家都是非常机智的,希望看到博主文章能学到东西的可以一键三连关注一下博主…

C语言之数组题

目录 1.使用函数实现数组操作 2.冒泡排序 3.三子棋 4.【一维数组】交换数组 5.扫雷 6.概念辨析tips 我又来了,今天是数组题,本人还在补军训真的热!🆗 1.使用函数实现数组操作 2.冒泡排序 3.三子棋 4.【一维数组】交换数组 …

首席执行官Adam Selipsky解读“亚马逊云科技的技术产品差异化”

迄今为止,亚马逊云科技已经参与了21世纪几乎所有的大型计算变革,亚马逊云科技是一个很传奇的故事,它始于大约20年前的一项实验,当时亚马逊试图出售其过剩的服务器。人们确实对此表示怀疑。为什么在线书店试图销售云服务&#xff1…

RBAC实现授权

RBAC分为两种方式: 基于角色的访问控制(Role-Based Access Control) 基于资源的访问控制(Resource-Based Access Control) 角色的访问控制(Role-Based Access Control)是按角色进行授权&…

浅谈AI浪潮下的视频大数据发展趋势与应用

视频大数据的发展趋势是多样化和个性化的。随着科技的不断进步,人们对于视频内容的需求也在不断变化。从传统的电视节目到现在的短视频、直播、VR等多种形式,视频内容已经不再是单一的娱乐方式,更是涉及到教育、医疗、商业等各个领域。 为了…

JVM 内存大对象监控和优化实践

作者:vivo 互联网服务器团队 - Liu Zhen、Ye Wenhao 服务器内存问题是影响应用程序性能和稳定性的重要因素之一,需要及时排查和优化。本文介绍了某核心服务内存问题排查与解决过程。首先在JVM与大对象优化上进行了有效的实践,其次在故障转移与…

Unity——音乐、音效

在游戏运行的过程中,音效的播放时机与游戏当前内容密切相关,而且随着场景的变化、剧情的推进,背景音乐也需要适时切换,所以恰当地控制音乐和音效的播放非常重要。音乐和音效的播放、停止、切换和音量变化等,都需要由脚…

AS报错:CreateProcess error=206,文件名或扩展名太长

背景:今天编译公司的项目,第一次编译Ok,修改代码之后,第二次编译报错,报错信息:CreateProcess error206,文件名或扩展名太长。 同时删除build文件夹时报错:另一个程序正在使用此文件…

【C++】C/C++内存管理-new、delete

文章目录 一、C/C内存分布二、C/C中动态内存管理方式2.1 C语言中动态内存管理方式2.2 C内存管理方式 三、operator new和operator delete函数3.1 operator new和operator delete函数3.2 operator new与operator delete的类专属重载(了解) 四、new和delet…

「Redis」1. 数据类型的底层实现

前言:在这篇博文中,我们将简单总结在面试中怎么回答Redis数据类型的底层实现。 因为面试时间就那么点,言简意赅的描述自己会的知识显得尤为重要‼️ 文章目录 0.1. String 的底层实现原理0.2. 列表的底层实现原理0.3. 字典的底层实现原理0.4.…

【 ARMv9 Cluster BUS QoS 配置】

文章目录 ARM Cluster QoS ARM Cluster QoS QoS(Quality of Service,服务质量)在 ARM 架构中,主要指的是一种机制,它可以控制和管理系统资源(如内存、总线带宽等)的使用,以满足各种…

Leetcode刷题:395. 至少有 K 个重复字符的最长子串、823. 带因子的二叉树

Leetcode刷题:395. 至少有 K 个重复字符的最长子串、823. 带因子的二叉树 1. 395. 至少有 K 个重复字符的最长子串算法思路参考代码和运行结果 2. 823. 带因子的二叉树算法思路参考代码和运行结果 1. 395. 至少有 K 个重复字符的最长子串 题目难度:中等 标签&#…

Mybatis查询数据

上一篇我们介绍了在pom文件中引入mybatis依赖,配置了mybatis配置文件,通过读取配置文件创建了会话工厂,使用会话工厂创建会话获取连接对象读取到了数据库的基本信息。 如果您需要对上面的内容进行了解,可以参考Mybatis引入与使用…

【业务功能篇87】微服务-springcloud-本地缓存-redis-分布式缓存-缓存穿透-雪崩-击穿

一、缓存 1. 什么是缓存 缓存的作用是减低对数据源的访问频率。从而提高我们系统的性能。 缓存的流程图 2.缓存的分类 2.1 本地缓存 其实就是把缓存数据存储在内存中(Map <String,Object>).在单体架构中肯定没有问题。 单体架构下的缓存处理 2.2 分布式缓存 在分布式环…

无涯教程-Python机器学习 - Stochastic Gradient Boosting函数

它也称为梯度提升机。在下面的Python食谱中,我们将通过使用pima Indians糖尿病数据集上的 sklearn 的 GradientBoostingClassifier 类来创建随机梯度Boostingensemble模型进行分类。 首先,导入所需的软件包,如下所示: from pandas import read_csv from sklearn.model_select…

万户协同办公平台 ezoffice存在未授权访问漏洞 附POC

文章目录 万户协同办公平台 ezoffice存在未授权访问漏洞 附POC1. 万户协同办公平台 ezoffice简介2.漏洞描述3.影响版本4.fofa查询语句5.漏洞复现6.POC&EXP7.整改意见8.往期回顾 万户协同办公平台 ezoffice存在未授权访问漏洞 附POC 免责声明&#xff1a;请勿利用文章内的相…