Spark核心之01：架构部署、sparkshell、程序模板

spark内存计算框架

在这里插入图片描述

一、主题

  1. spark核心概念
  2. spark集群架构
  3. spark集群安装部署
  4. spark-shell的使用
  5. 通过IDEA开发spark程序

二、要点

1. spark是什么

  • Apache Spark™ is a unified analytics engine for large-scale data processing.

  • spark是针对于大规模数据处理的统一分析引擎

spark是在Hadoop基础上的改进，是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。
spark是基于内存计算框架，计算速度非常之快，但是它仅仅只是涉及到计算，并没有涉及到数据的存储，后期需要使用spark对接外部的数据源，比如hdfs。

2. spark的四大特性

2.1 速度快

在这里插入图片描述

  • 运行速度提高100倍

    • Apache Spark使用最先进的DAG调度程序，查询优化程序和物理执行引擎，实现批量和流式数据的高性能。

  • spark比mapreduce快的2个主要原因

    • 1、基于内存

      （1）mapreduce任务后期再计算的时候，每一个job的输出结果会落地到磁盘，后续有其他的job需要依赖于前面job的输出结果，这个时候就需要进行大量的磁盘io操作。性能就比较低。
      （2）spark任务后期再计算的时候，job的输出结果可以保存在内存中，后续有其他的job需要依赖于前面job的输出结果，这个时候就直接从内存中获取得到，避免了磁盘io操作，性能比较高

    • 2、进程与线程

      spark任务以线程的方式运行在Executor进程中

      （1）mapreduce任务以进程的方式运行在yarn集群中，比如程序中有100个MapTask，一个task就需要一个进程，这些task要运行就需要开启100个进程。
      （2）spark任务以线程的方式运行在进程中，比如程序中有100个MapTask，后期一个task就对应一个线程，这里就不在是进程，这些task需要运行，这里可以极端一点：
      只需要开启1个进程，在这个进程中启动100个线程就可以了。
      进程中可以启动很多个线程，而开启一个进程与开启一个线程需要的时间和调度代价是不一样。 开启一个进程需要的时间远远大于开启一个线程。

2.2 易用性

在这里插入图片描述

  • 可以快速去编写spark程序通过 java/scala/python/R/SQL等不同语言
2.3 通用性

在这里插入图片描述

  • spark框架不在是一个简单的框架，可以把spark理解成一个==生态系统==，它内部是包含了很多模块，基于不同的应用场景可以选择对应的模块去使用
    • sparksql
      • 通过sql去开发spark程序做一些离线分析
    • sparkStreaming
      • 主要是用来解决公司有实时计算的这种场景
    • Mlib
      • 它封装了一些机器学习的算法库
    • Graphx
      • 图计算
2.4 兼容性

在这里插入图片描述

  • spark程序就是一个计算逻辑程序，这个任务要运行就需要计算资源（内存、cpu、磁盘），哪里可以给当前这个任务提供计算资源，就可以把spark程序提交到哪里去运行
    • standAlone
      • 它是spark自带的独立运行模式，整个任务的资源分配由spark集群的老大Master负责
    • yarn
      • 可以把spark程序提交到yarn中运行，整个任务的资源分配由yarn中的老大ResourceManager负责
    • mesos
      • 它也是apache开源的一个类似于yarn的资源调度平台

⭐️3. spark集群架构

在这里插入图片描述

  • Driver

    • 它会执行客户端写好的main方法，它会构建一个名叫SparkContext对象
      • 该对象是所有spark程序的执行入口

  • Application

    • 就是一个spark的应用程序，它是包含了客户端的代码和任务运行的资源信息

  • ⭐️ClusterManager

  • 它是给程序提供计算资源的外部服务

    • standAlone
      • 它是spark自带的集群模式，整个任务的资源分配由spark集群的老大Master负责
    • yarn
      • 可以把spark程序提交到yarn中运行，整个任务的资源分配由yarn中的老大ResourceManager负责
    • mesos
      • 它也是apache开源的一个类似于yarn的资源调度平台。

  • Master

    • 它是整个spark集群的主节点，负责任务资源的分配

  • Worker

    • 它是整个spark集群的从节点，负责任务计算的节点

  • Executor

    • 它是一个进程，它会在worker节点启动该进程（计算资源）

  • Task

    • spark任务是以task线程的方式运行在worker节点对应的executor进程中

4. spark集群安装部署

  • 事先搭建好zookeeper集群

  • 1、下载安装包

    • https://archive.apache.org/dist/spark/spark-2.3.3/spark-2.3.3-bin-hadoop2.7.tgz
    • spark-2.3.3-bin-hadoop2.7.tgz

  • 2、规划安装目录

    • /kkb/install

  • 3、上传安装包到服务器

  • 4、解压安装包到指定的安装目录

    • tar -zxvf spark-2.3.3-bin-hadoop2.7.tgz -C /kkb/install

  • 5、重命名解压目录

    • mv spark-2.3.3-bin-hadoop2.7 spark

  • 6、修改配置文件

    • 进入到spark的安装目录下对应的conf文件夹

      • vim spark-env.sh ( mv spark-env.sh.template spark-env.sh)

        #配置java的环境变量
export JAVA_HOME=/kkb/install/jdk1.8.0_141
#配置zk相关信息
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER  -Dspark.deploy.zookeeper.url=node01:2181,node02:2181,node03:2181  -Dspark.deploy.zookeeper.dir=/spark"

      • vim slaves ( mv slaves.template slaves)

        #指定spark集群的worker节点
node02
node03

  • 7、分发安装目录到其他机器

    scp -r /kkb/install/spark node02:/kkb/install
scp -r /kkb/install/spark node03:/kkb/install

  • 8、修改spark环境变量

    • vim /etc/profile

      export SPARK_HOME=/kkb/install/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

  • 9、分发spark环境变量到其他机器

    scp /etc/profile node02:/etc
scp /etc/profile node03:/etc

  • 10、让所有机器的spark环境变量生效

    • 在所有节点执行
      • source /etc/profile

5. spark集群的启动和停止

5.1 启动
  • 1、先启动zk
  • 2、启动spark集群
    • 可以在任意一台服务器来执行（条件：需要任意2台机器之间实现ssh免密登录）
      • $SPARK_HOME/sbin/start-all.sh
      • 在哪里启动这个脚本，就在当前该机器启动一个Master进程
      • 整个集群的worker进程的启动由slaves文件
    • 后期可以在其他机器单独在启动master
      • $SPARK_HOME/sbin/start-master.sh

⭐️⭐️

(1) 如何恢复到上一次活着master挂掉之前的状态?在高可用模式下，整个spark集群就有很多个master，其中只有一个master被zk选举成活着的master，其他的多个master都处于standby，同时把整个spark集群的元数据信息通过zk中节点进行保存。后期如果活着的master挂掉。首先zk会感知到活着的master挂掉，下面开始在多个处于standby中的master进行选举，再次产生一个活着的master，这个活着的master会读取保存在zk节点中的spark集群元数据信息，恢复到上一次master的状态。整个过程在恢复的时候经历过了很多个不同的阶段，每个阶段都需要一定时间，最终恢复到上个活着的master的转态，整个恢复过程一般需要1-2分钟。(2) 在master的恢复阶段对任务的影响?a）对已经运行的任务是没有任何影响由于该任务正在运行，说明它已经拿到了计算资源，这个时候就不需要master。b) 对即将要提交的任务是有影响由于该任务需要有计算资源，这个时候会找活着的master去申请计算资源，由于没有一个活着的master,该任务是获取不到计算资源，也就是任务无法运行。
5.2 停止

  • 在处于active Master主节点执行

    • $SPARK_HOME/sbin/stop-all.sh

  • 在处于standBy Master主节点执行

    • $SPARK_HOME/sbin/stop-master.sh

6. spark集群的web管理界面

  • 当启动好spark集群之后，可以访问这样一个地址
    • http://master主机名:8080
    • 可以通过这个web界面观察到很多信息
      • 整个spark集群的详细信息
      • 整个spark集群总的资源信息
      • 整个spark集群已经使用的资源信息
      • 整个spark集群还剩的资源信息
      • 整个spark集群正在运行的任务信息
      • 整个spark集群已经完成的任务信息

在这里插入图片描述

7. 初识spark程序

⭐️7.1 普通模式提交 (指定活着的master地址)
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://node01:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
examples/jars/spark-examples_2.11-2.3.3.jar \
10####参数说明
--class：指定包含main方法的主类
--master：指定spark集群master地址
--executor-memory：指定任务在运行的时候需要的每一个executor内存大小
--total-executor-cores： 指定任务在运行的时候需要总的cpu核数
⭐️7.2 高可用模式提交 (集群有很多个master）
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://node01:7077,node02:7077,node03:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
examples/jars/spark-examples_2.11-2.3.3.jar \
10spark集群中有很多个master，并不知道哪一个master是活着的master，即使你知道哪一个master是活着的master，它也有可能下一秒就挂掉，这里就可以把所有master都罗列出来
--master spark://node01:7077,node02:7077,node03:7077后期程序会轮训整个master列表，最终找到活着的master，然后向它申请计算资源，最后运行程序。

8. spark-shell使用

8.1 运行spark-shell --master local[N] 读取本地文件进行单词统计

  • –master local[N]

    • local 表示程序在本地进行计算，跟spark集群目前没有任何关系
    • N 它是一个正整数，表示使用N个线程参与任务计算
    • local[N] 表示本地采用N个线程计算任务

  • spark-shell --master local[2]

    • 默认会产生一个SparkSubmit进程
    sc.textFile("file:///home/hadoop/words.txt").flatMap(x=>x.split(" ")).map(x=>(x,1)).reduceByKey((x,y)=>x+y).collectsc.textFile("file:///home/hadoop/words.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
8.2 运行spark-shell --master local[N] 读取HDFS上文件进行单词统计

  • spark整合HDFS

    • 在node01上修改配置文件
      • vim spark-env.sh
    export HADOOP_CONF_DIR=/kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
    • 分发到其他节点
    scp spark-env.sh node02:/kkb/install/spark/conf
scp spark-env.sh node03:/kkb/install/spark/conf

  • spark-shell --master local[2]

    sc.textFile("/words.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collectsc.textFile("hdfs://node01:8020/words.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
8.3 运行spark-shell 指定集群中活着master 读取HDFS上文件进行单词统计

  • spark-shell --master spark://node01:7077 --executor-memory 1g --total-executor-cores 4

    • –master spark://node01:7077
      • 指定活着的master地址
    • –executor-memory 1g
      • 指定每一个executor进程的内存大小
    • –total-executor-cores 4
      • 指定总的executor进程cpu核数
    sc.textFile("hdfs://node01:8020/words.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect//实现读取hdfs上文件之后，需要把计算的结果保存到hdfs上
sc.textFile("/words.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).saveAsTextFile("/out")

9. 通过IDEA开发spark程序

  • 构建maven工程，添加pom依赖

     <dependencies><dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.11</artifactId><version>2.3.3</version></dependency>
</dependencies><build><sourceDirectory>src/main/scala</sourceDirectory><testSourceDirectory>src/test/scala</testSourceDirectory><plugins><plugin><groupId>net.alchim31.maven</groupId><artifactId>scala-maven-plugin</artifactId><version>3.2.2</version><executions><execution><goals><goal>compile</goal><goal>testCompile</goal></goals><configuration><args><arg>-dependencyfile</arg><arg>${project.build.directory}/.scala_dependencies</arg></args></configuration></execution></executions></plugin><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-shade-plugin</artifactId><version>2.4.3</version><executions><execution><phase>package</phase><goals><goal>shade</goal></goals><configuration><filters><filter><artifact>*:*</artifact><excludes><exclude>META-INF/*.SF</exclude><exclude>META-INF/*.DSA</exclude><exclude>META-INF/*.RSA</exclude></excludes></filter></filters><transformers><transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer"><mainClass></mainClass></transformer></transformers></configuration></execution></executions></plugin></plugins></build>

  • 创建 src/main/scala 和 src/test/scala 目录

在这里插入图片描述

9.1 利用scala语言开发spark程序实现单词统计–本地运行
  • 代码开发
package com.kaikebaimport org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}//todo: 利用scala语言开发spark程序实现单词统计
object WordCount {def main(args: Array[String]): Unit = {//1、构建sparkConf对象 设置application名称和master地址val sparkConf: SparkConf = new SparkConf().setAppName("WordCount").setMaster("local[2]")//2、构建sparkContext对象,该对象非常重要，它是所有spark程序的执行入口// 它内部会构建  DAGScheduler和 TaskScheduler 对象val sc = new SparkContext(sparkConf)//设置日志输出级别sc.setLogLevel("warn")//3、读取数据文件val data: RDD[String] = sc.textFile("E:\\words.txt")//4、 切分每一行，获取所有单词val words: RDD[String] = data.flatMap(x=>x.split(" "))//5、每个单词计为1val wordAndOne: RDD[(String, Int)] = words.map(x => (x,1))//6、相同单词出现的1累加val result: RDD[(String, Int)] = wordAndOne.reduceByKey((x,y)=>x+y)//按照单词出现的次数降序排列  第二个参数默认是true表示升序，设置为false表示降序val sortedRDD: RDD[(String, Int)] = result.sortBy( x=> x._2,false)//7、收集数据打印val finalResult: Array[(String, Int)] = sortedRDD.collect()finalResult.foreach(println)//8、关闭scsc.stop()}
}
9.2 利用scala语言开发spark程序实现单词统计–集群运行
  • 代码开发
package com.kaikeba
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}//todo: 利用scala语言开发spark程序实现单词统计
object WordCountOnSpark {def main(args: Array[String]): Unit = {//1、构建sparkConf对象 设置application名称val sparkConf: SparkConf = new SparkConf().setAppName("WordCountOnSpark")//2、构建sparkContext对象,该对象非常重要，它是所有spark程序的执行入口// 它内部会构建  DAGScheduler和 TaskScheduler 对象val sc = new SparkContext(sparkConf)//设置日志输出级别sc.setLogLevel("warn")//3、读取数据文件val data: RDD[String] = sc.textFile(args(0))//4、 切分每一行，获取所有单词val words: RDD[String] = data.flatMap(x=>x.split(" "))//5、每个单词计为1val wordAndOne: RDD[(String, Int)] = words.map(x => (x,1))//6、相同单词出现的1累加val result: RDD[(String, Int)] = wordAndOne.reduceByKey((x,y)=>x+y)//7、把计算结果保存在hdfs上result.saveAsTextFile(args(1))//8、关闭scsc.stop()}
}
  • 打成jar包提交到集群中运行
spark-submit \
--master spark://node01:7077,node02:7077 \
--class com.kaikeba.WordCountOnSpark \
--executor-memory 1g  \
--total-executor-cores 4 \
original-spark_class01-1.0-SNAPSHOT.jar \
/words.txt  /out
9.3 利用java语言开发spark程序实现单词统计–本地运行
  • 代码开发
package com.kaikeba;import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;
import scala.Tuple2;import java.util.Arrays;
import java.util.Iterator;
import java.util.List;//todo: 利用java语言开发spark的单词统计程序
public class JavaWordCount {public static void main(String[] args) {//1、创建SparkConf对象SparkConf sparkConf = new SparkConf().setAppName("JavaWordCount").setMaster("local[2]");//2、构建JavaSparkContext对象JavaSparkContext jsc = new JavaSparkContext(sparkConf);//3、读取数据文件JavaRDD<String> data = jsc.textFile("E:\\words.txt");//4、切分每一行获取所有的单词   scala:  data.flatMap(x=>x.split(" "))JavaRDD<String> wordsJavaRDD = data.flatMap(new FlatMapFunction<String, String>() {public Iterator<String> call(String line) throws Exception {String[] words = line.split(" ");return Arrays.asList(words).iterator();}});//5、每个单词计为1    scala:  wordsJavaRDD.map(x=>(x,1))JavaPairRDD<String, Integer> wordAndOne = wordsJavaRDD.mapToPair(new PairFunction<String, String, Integer>() {public Tuple2<String, Integer> call(String word) throws Exception {return new Tuple2<String, Integer>(word, 1);}});//6、相同单词出现的1累加    scala:  wordAndOne.reduceByKey((x,y)=>x+y)JavaPairRDD<String, Integer> result = wordAndOne.reduceByKey(new Function2<Integer, Integer, Integer>() {public Integer call(Integer v1, Integer v2) throws Exception {return v1 + v2;}});//按照单词出现的次数降序 (单词，次数)  -->(次数,单词).sortByKey----> (单词，次数)JavaPairRDD<Integer, String> reverseJavaRDD = result.mapToPair(new PairFunction<Tuple2<String, Integer>, Integer, String>() {public Tuple2<Integer, String> call(Tuple2<String, Integer> t) throws Exception {return new Tuple2<Integer, String>(t._2, t._1);}});JavaPairRDD<String, Integer> sortedRDD = reverseJavaRDD.sortByKey(false).mapToPair(new PairFunction<Tuple2<Integer, String>, String, Integer>() {public Tuple2<String, Integer> call(Tuple2<Integer, String> t) throws Exception {return new Tuple2<String, Integer>(t._2, t._1);}});//7、收集打印List<Tuple2<String, Integer>> finalResult = sortedRDD.collect();for (Tuple2<String, Integer> t : finalResult) {System.out.println("单词："+t._1 +"\t次数："+t._2);}jsc.stop();}
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/28805.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【算法学习之路】5.贪心算法

【算法学习之路】5.贪心算法

贪心算法 前言一.什么是贪心算法二.例题1.合并果子2.跳跳&#xff01;3. 老鼠和奶酪 前言 我会将一些常用的算法以及对应的题单给写完&#xff0c;形成一套完整的算法体系&#xff0c;以及大量的各个难度的题目&#xff0c;目前算法也写了几篇&#xff0c;题单正在更新&#xf…
阅读更多...
布隆过滤器原理详解：高效解决大规模数据去重与查询问题

布隆过滤器原理详解：高效解决大规模数据去重与查询问题

布隆过滤器原理详解&#xff1a;高效解决大规模数据去重与查询问题 一、布隆过滤器的核心概念 布隆过滤器&#xff08;Bloom Filter&#xff09;是一种基于概率的高效数据结构&#xff0c;由Burton Bloom于1970年提出。其核心思想是通过位数组&#xff08;Bit Array&#xff…
阅读更多...
2025年渗透测试面试题总结-字某跳动-渗透测试实习生（题目+回答）

2025年渗透测试面试题总结-字某跳动-渗透测试实习生（题目+回答）

网络安全领域各种资源&#xff0c;学习文档&#xff0c;以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具&#xff0c;欢迎关注。 字某跳动-渗透测试实习生 渗透流程信息收集如何处理子域名爆破中的泛解析问题绕过CDN寻找真实IPPHPINFO页面关注…
阅读更多...
【Spring AOP】_切点类的切点表达式

【Spring AOP】_切点类的切点表达式

目录 1. 根据方法签名匹配编写切点表达式 1.1 具体语法 1.2 通配符表达规范 2. 根据注解匹配编写切点表达式 2.1 实现步骤 2.2 元注解及其常用取值含义 2.3 使用自定义注解 2.3.1 编写自定义注解MyAspect 2.3.2 编写切面类MyAspectDemo 2.3.3 编写测试类及测试方法 在…
阅读更多...
直接法估计相机位姿

直接法估计相机位姿

引入 在前面的文章&#xff1a;运动跟踪——Lucas-Kanade光流中&#xff0c;我们了解到特征点法存在一些缺陷&#xff0c;并且用光流法追踪像素点的运动来替代特征点法进行特征点匹配的过程来解决这些缺陷。而这篇文章要介绍的直接法则是通过计算特征点在下一时刻图像中的位置…
阅读更多...
SpringCloud + Spring AI Alibaba 整合阿里云百炼大模型

SpringCloud + Spring AI Alibaba 整合阿里云百炼大模型

一、前言 记录一次自己使用微服务整合阿里云的百炼大模型&#xff0c;需要用到Redis来记录最近五条信息&#xff0c;已能够保证上下文的连通性&#xff0c;Ai和用户之间的对话是使用的MongoDB来进行存储。然后我这篇文章是介绍了两种请求方式&#xff0c;一种是通过Http请求&a…
阅读更多...
【MYSQL数据库异常处理】执行SQL语句报超时异常

【MYSQL数据库异常处理】执行SQL语句报超时异常

MYSQL执行SQL语句异常&#xff1a;The last packet successfully received from the server was 100,107 milliseconds ago. The last packet sent successfully to the server was 100,101 milliseconds ago. 这个错误表明 MySQL 服务器与 JDBC 连接之间的通信超时了。通常由…
阅读更多...
【Linux-网络】HTTP的清风与HTTPS的密语

【Linux-网络】HTTP的清风与HTTPS的密语

&#x1f3ac; 个人主页&#xff1a;谁在夜里看海. &#x1f4d6; 个人专栏&#xff1a;《C系列》《Linux系列》《算法系列》 ⛰️ 道阻且长&#xff0c;行则将至 目录 &#x1f4da; 引言 &#x1f4da; 一、HTTP &#x1f4d6; 1.概述 &#x1f4d6; 2.URL &#x1f5…
阅读更多...
Leetcode 二叉搜索树迭代器

Leetcode 二叉搜索树迭代器

通俗地解释这道题目的要求 这道题目要求你设计一个二叉搜索树&#xff08;BST&#xff09;的迭代器&#xff0c;让你能够像遍历一个数组那样&#xff0c;依次获取 BST 中的元素&#xff0c;并且始终按照 从小到大&#xff08;中序遍历&#xff1a;左 -> 根 -> 右&#x…
阅读更多...
Gartner：数据安全平台DSP提升数据流转及使用安全

Gartner：数据安全平台DSP提升数据流转及使用安全

2025 年 1 月 7 日&#xff0c;Gartner 发布“China Context&#xff1a;Market Guide for Data Security Platforms”&#xff08;《数据安全平台市场指南——中国篇》&#xff0c;以下简称指南&#xff09;&#xff0c;报告主要聚焦中国数据安全平台&#xff08;Data Securit…
阅读更多...
进程控制 ─── linux第15课

进程控制 ─── linux第15课

目录 进程控制 1.进程创建 (fork前面讲过了) 写时拷贝 进程终止 进程退出场景 退出码 进程终止方法 进程控制 1.进程创建 (fork前面讲过了) 在linux中fork函数时非常重要的函数&#xff0c;它从已存在进程中创建一个新进程。新进程为子进程&#xff0c;而原进程为父…
阅读更多...
【网络安全 | 渗透测试】GraphQL精讲二：发现API漏洞

【网络安全 | 渗透测试】GraphQL精讲二：发现API漏洞

未经许可，不得转载。 推荐阅读：【网络安全 | 渗透测试】GraphQL精讲一：基础知识 文章目录 GraphQL API 漏洞寻找 GraphQL 端点通用查询常见的端点名称请求方法初步测试利用未清理的参数发现模式信息使用 introspection探测 introspection运行完整的 introspection 查询可视化…
阅读更多...
2025-3-5 leetcode刷题情况（贪心算法--简单题目）

2025-3-5 leetcode刷题情况（贪心算法--简单题目）

一、455.分发饼干 1.题目描述 假设你是一位很棒的家长&#xff0c;想要给你的孩子们一些小饼干。但是&#xff0c;每个孩子最多只能给一块饼干。 对每个孩子 &#xff0c;都有一个胃口值 g[i],这是能让孩子们满足胃口的饼干的最小尺寸;并且每块饼干j&#xff0c;都有一个尺寸…
阅读更多...
hive之LEAD 函数详解

hive之LEAD 函数详解

1. 函数概述 LEAD 是 Hive 中的窗口函数&#xff0c;用于获取当前行之后指定偏移量处的行的值。常用于分析时间序列数据、计算相邻记录的差异或预测趋势。 2. 语法 LEAD(column, offset, default) OVER ([PARTITION BY partition_column] [ORDER BY order_column [ASC|DESC]…
阅读更多...
Linux网络相关内容与端口

Linux网络相关内容与端口

网络相关命令 ping命令测试连接状态 wget命令&#xff1a;非交互式文件下载器&#xff0c;可以在命令行内下载网络文件 使用ctrlc可以中止下载 curl命令&#xff1a;可以发送http网络请求&#xff0c;用于文件下载、获取信息等 其实和浏览器打开网站一样&#xff0c;cu…
阅读更多...
OpenCV下载与配置（vistual studio 2022）

OpenCV下载与配置（vistual studio 2022）

目录 1 简介 2 opencv的下载 ​编辑 3 配置环境变量 ​编辑 4 visual studio 2022中的配置 5 代码测试 6 总结 1 简介 OpenCV&#xff08;Open Source Computer Vision Library&#xff09;是一个开源的计算机视觉和机器学习库&#xff0c;广泛应用于图像处理、目标检测…
阅读更多...
Pythonweb开发框架—Flask工程创建和@app.route使用详解

Pythonweb开发框架—Flask工程创建和@app.route使用详解

1.创建工程 如果pycharm是专业版&#xff0c;直接NewProject—>Flask 填写工程name和location后&#xff0c;点击右下角【create】&#xff0c;就会新建一个flask工程&#xff0c;工程里默认会建好一个templates文件夹、static文件夹、一个app.py文件 templates&#xff1…
阅读更多...
服务器CPU微架构

服务器CPU微架构

1、微架构图 前端&#xff1a;预解码、解码、分支预测、L1指令缓存、指令TLB缓存 后端&#xff1a;顺序重排缓存器ROB处理依赖&#xff0c;调度器送到执行引擎 执行引擎&#xff1a;8路超标量&#xff0c;每一路可以进行独立的微操作处理 Port0、1、5、6支持整数、浮点数的加…
阅读更多...
uniapp对接打印机和电子秤

uniapp对接打印机和电子秤

uniapp对接打印机和电子秤 连接电子秤和打印机&#xff0c;最难的不是连接蓝牙和电子成&#xff0c;而是打印机。因为打印机涉及到向打印机写数据操作&#xff0c;然后这个写的数据需要做一个编码转换。难就难在编码转换。如果是java那就是一句代码的事情&#xff0c;而js就没有…
阅读更多...
Linux基础IO

Linux基础IO

Linux基础IO 1.理解文件1.1 狭义理解1.2 广义理解1.3 文件操作的归类认知1.4 系统角度 2.c的文件接口2.1 hello.c打开文件2.2 hello.c写文件2.3 hello.c读文件2.4 stdin & stdout & stderr 3.系统打开文件接口3.1 一种传递标记位的方法3.2 open函数3.3 文件描述符3.3.0…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023