【大数据分析机器学习】分布式机器学习

在这里插入图片描述

【作者主页】Francek Chen
【专栏介绍】 ⌈ ⌈ 智能大数据分析 ⌋ ⌋ 智能大数据分析是指利用先进的技术和算法对大规模数据进行深入分析和挖掘,以提取有价值的信息和洞察。它结合了大数据技术、人工智能(AI)、机器学习(ML)和数据挖掘等多种方法,旨在通过自动化的方式分析复杂数据集,发现潜在的价值和关联性,实现数据的自动化处理和分析,从而支持决策和优化业务流程。与传统的人工分析相比,智能大数据分析具有自动化、深度挖掘、实时性和可视化等特点。智能大数据分析广泛应用于各个领域,包括金融服务、医疗健康、零售、市场营销等,帮助企业做出更为精准的决策,提升竞争力。
【GitCode】专栏资源保存在我的GitCode仓库:https://gitcode.com/Morse_Chen/Intelligent_bigdata_analysis。

文章目录

    • 一、分布式机器学习基础
      • (一)参数服务器
      • (二)分布式并行计算框架
    • 二、分布式机器学习框架
      • (一)MapReduce编程模型
      • (二)Hadoop MapReduce框架
      • (三)Spark
      • (四)TensorFlow
    • 三、并行决策树
      • (一)并行决策树算法
      • (二)并行化的随机森林——并行CART决策树算法
    • 四、并行k-均值算法
      • (一)k-均值算法算例
      • (二)多元线性回归模型


  机器学习方法是计算机利用已有的数据生成某种模型,并利用此模型预测的一种方法。在确定模型结构之后,根据已知模型寻找模型参数的过程就是训练,训练过程中不断依据训练数据来迭代调整模型的参数值,从而使模型的预测结果更为准确。在现实应用中,要达到好的效果,训练数据集可能很大,模型参数量剧增,会带来很多性能和算法设计问题,单台机器难以胜任,需要分布式的机器学习架构。本文主要介绍分布式机器学习基础知识,并介绍主流的分布式机器学习框架,结合实例介绍一些机器学习算法。

一、分布式机器学习基础

分布式机器学习中的一些核心问题:
(1)如何提高各分布式任务节点之间的网络传输效率;
(2)如何解决参数同步问题,传统训练模型是采用同步方法,如果机器性能不统一,必然会产生训练任务之间的协作;
(3)分布式环境下如何提高容错能力,需要避免单点故障,并能合理处理异常,训练子节点出错不影响全局任务。

(一)参数服务器

  应用传统的大数据处理框架训练大型的机器学习模型时,由于数据量比较大并且训练方法多样,存在着一致性、扩展性、稳定性的问题。较大的模型也意味着参数较多,因而需要实现分布式并行训练,参数服务器是分布式并行训练框架之一,存储着模型的参数和状态。参数服务器具有如下特点:高效通信、宽松一致性、灵活可扩展、容错能力强、易用。

  训练过程中支持动态扩展节点,不需要重启训练任务就可以动态插入新节点到集合中,这一特性无疑有利于那些训练周期较长(长达数天或数周)的机器学习项目,可节省大量训练时间。

  在大型服务器集群中,由于节点较多,小概率故障往往常态化,所以需要节点的恢复(状态清理、任务重启)时间要短,而且不能中断训练过程,这就要求并行化系统具有较强的容错能力。

  目前机器学习项目开发者数量较少,为了减少学习难度,需要尽可能的使用常用语言或将参数表示成通用的形式,如向量、矩阵等,并与现有机器学习框架无缝拼接。

(二)分布式并行计算框架

  分布式并行计算的类型一般分为三种:模型并行、数据并行、混合并行。

1. 模型并行

  模型并行是指将模型按照其结构放在不同的分布式机器上进行训练,一般用在那些内存要求较高的机器学习项目,例如,单机训练一个1000层的DNN网络,内存容易溢出,而使用模型并行,用不同的机器负责不同的层进行训练,通过维护各层间参数同步实现整个DNN网络的并行训练。

在这里插入图片描述
2. 数据并行

  数据并行是指各机器上的模型相同,对训练数据进行分割,并分配到各机器上,最后将计算结果按照某种方式合并。该方法主要应用在海量训练数据的情况,数据以并行化方式训练,训练过程中组合各工作节点的结果,实现模型参数的更新。参数并行常用的方法有参数平均和异步梯度下降的方法。

在这里插入图片描述
(1)参数平均:参数平均是在每次训练迭代完成后计算各节点各模型参数平均值,这一方法操作简单,主要依赖网络同步更新,如果更新频率较慢会导致参数差别较大,平均之后的模型参数的局部差异化被抵消,效果较差,影响模型的精确性。反之,如果更新较快,对网络压力较大,通信和同步的成本较高,所以在应用中需要结合模型复杂度和优化方法进行平衡。

(2)异步梯度下降:异步梯度下降是一种基于更新的数据并行化,它传递的是模型训练过程中的梯度、动量等信息,而没有直接传递参数值,这样一方面可以减少传输数据量,提高网络传输效率;另一方面不同计算节点通过共享梯度,可以提高模型收敛速度。该方法的不足之处在于会随着引入参数数量的增多出现梯度值过时的问题。

3. 混合并行

  混合并行的方式是指综合应用模型并行和数据并行,在训练集群的设计中,将上述两种方式进行合并,各取所长,形成互补。例如,可以在同一台机器上采用模型并行化,在GPU和CPU之间使用模型并行。然后在机器之间采用数据并行化,将数据分配在不同的机器上,既实现了计算资源利用的最大化,也减少了数据分发的压力。

二、分布式机器学习框架

  分布式机器学习是机器学习领域的一大主要研究方向,其中MapReduce适合做离线计算,Storm适合做流式计算,Spark是内存计算框架,能快速得到计算结果。分布式机器学习平台归类为三种基本设计方法:基本数据流、参数服务器模型以及高级数据流。基于这三种方法来介绍分布式机器学习框架。

(一)MapReduce编程模型

  MapReduce是一个能处理和生成超大数据集的算法模型,该架构能够在大量硬件配置不高的计算机上实现并行化处理,这一编程模型结合用户自定义的Map和Reduce函数。Map函数处理一个输入的基于<Key,value>对的集合,输出中间基于<Key,value>对的集合,Reduce函数是将所有具有相同key值的value值进行合并,将数据集合进行压缩。

  一个典型的MapReduce程序的执行流程如下图所示。

在这里插入图片描述

(二)Hadoop MapReduce框架

  Hadoop MapReduce是Hadoop三大组件之一,包括JobTracker和一定数量的TaskTracker。JobTracker负责任务分配和调度,一个MapReduce作业通常会把输入的数据集切分为若干独立的数据块,由Map任务以并行方式处理它们,框架会对Map的输出先进行排序,然后把结果输入到Reduce任务中。通常作业的输入和输出都会被存储在文件系统HDFS中,由JobTracker负责任务的调度和监控,以及重新执行已经失败的任务。

在这里插入图片描述
  Hadoop MapReduce框架由一个单独的主JobTracker和每个集群节点对应一个备TaskTracker组成。JobTracker负责调度作业的所有任务,并监控它们的执行,这些任务分布在不同的备TaskTracker上。如果TaskTracker上的任务执行失败,还会调度其重新执行。而TaskTracker仅负责执行指派的任务。

在这里插入图片描述
在这里插入图片描述

(三)Spark

  与Hadoop MapReduce相比,Spark的优势在于处理迭代计算的机器学习任务,尤其是内存要求小的应用,性能提升很大,Spark还可以进行批处理、实时数据处理、机器学习以及图算法等计算模块。使用Spark平台无需关心分布式并行计算的细节,可以智能地进行数据切分、算法复制、分布执行、结果合并,以支持数据分析人员快速开发分布式应用。

在这里插入图片描述
  Spark的基本框架如下图所示:

在这里插入图片描述
  Spark应用核心由启动环境和执行程序两部分组成,其中执行程序负责执行任务,运行执行程序的机器是工作节点,而启动环境由用户程序启动,通过集群管理器与各个执行程序进行通信。集群管理器主要负责集群的资源管理和调度,目前支持Standalone、Apache Mesos和YARN三种类型的管理器。

在这里插入图片描述
  Spark使用弹性分布式数据集(RDD)抽象分布式计算,RDD是Spark并行数据处理的基础,它是一种只读的分区记录的集合,用户可以通过RDD对数据显示地控制存储位置和选择数据的分区。RDD主要通过转换和动作操作来进行分布式计算,转换是根据现有数据集创建新数据集,动作是在数据集上进行计算后返回值给Driver程序。使用RDD可以用基本一致的方式应对不同的大数据处理场景,还能够提高分布式计算的容错性。

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf// Create SparkContext
val conf = new SparkConf().setAppName("WordCountApp").setMaster("local")
val sc = new SparkContext(conf)// Read text file from HDFS
val file = sc.textFile("hdfs://<path-to-your-file>", 5)// Split lines into words and map each word to (word, 1)
val words = file.flatMap(line => line.split(" ")).map(word => (word, 1))// Cache the RDD for better performance
words.cache()// Reduce by key to get the word counts
val counts = words.reduceByKey(_ + _)// Get the top 10 words by count
val top = counts.top(10)(Ordering.by(f => f._2))// Print the top 10 words
println(top.mkString("\n"))

  Spark是一种粗粒度、基于数据集的并行计算框架。其计算范式是数据集上的计算,在使用Spark的时候,要按照这一范式编写算法。所谓的数据集操作,就是成堆的数据,如果源数据集是按行存储的话,就需要对其进行适配,将若干记录组成一个集合。因此在提交给Spark任务时,需要先构建数据集,然后通过数据集的操作,实现目标任务。

(四)TensorFlow

  TensorFlow为用户封装了底层的分布式操作,使其可以专注于编写机器学习代码。使用数据流图进行数值计算,用有向图中的节点表示,节点的状态是可变的,边是张量,对应为多维数组。TensorFlow中数据并行化的方式由In-graph、Between-graph、异步训练、同步训练几种方式,通过将模型训练分配给不同的工作节点,并使用参数服务器共享参数。

三、并行决策树

  随着大数据时代的到来,算法需要处理的数据量急剧增加,仅依靠原始的决策树算法进行分类无论在效率上还是准确性上都不足以满足需求。高效出色的在大数据量下使用决策树算法,需要将决策树算法并行化。

  并行决策树算法基于MapReduce框架,核心思想是分而治之的策略。MapReduce通过将海量数据集分割成多个小数据集交给多台不同计算机进行处理,实现并行化数据处理。应用到决策树算法上,通过MapReduce将决策树算法并行处理,将耗时的属性相似度计算的步骤并行执行。Map阶段,以单元组形式分解数据,计算属性相似度,以<属性名,相似度>形式输出。Reduce阶段,汇总所有局部结果,找到最大相似度属性名,以这个属性作为测试节点,若是叶子节点,则返回,否则执行分裂,将其录入待计算数据库中进行存储。不断重复上述过程完成决策树的构建。

(一)并行决策树算法

在这里插入图片描述
上图展示了并行决策树算法的主要流程,通过划分和并行化处理训练数据集,利用MapReduce等机制来构建决策树的过程。以下是主要步骤的解析:

1. 数据划分

  • 水平划分

    • 数据集被水平切分为多个子数据集(如图中rid 0-4rid 5-9),每个分区的数据可以独立进行处理。
    • 这样做的目的是便于数据分布到不同的计算节点上,实现并行化处理。
  • 垂直划分

    • 将数据集中的属性(如age, credit等)单独拆分,计算每个属性的条件概率或信息增益,以便构建决策树的分裂点。
    • 每个属性在不同节点上处理,形成<key, value, value2>的键值对结构。

2. Map阶段

  • 生成键值对

    • 每个分区独立对数据集进行处理,将数据映射为键值对形式:<特征, 类别, 记录数>
    • 示例:
      • age的键值对:<youth, no, 3>表示age = youth且分类为no的记录有3条。
      • credit的键值对:<fair, no, 3>表示credit = fair且分类为no的记录有3条。
  • 并行计算特征与类别分布

    • 每个计算节点独立统计对应特征值和类别之间的分布关系。

3. Reduce 阶段

  • 合并统计结果

    • 对同一特征的所有分布进行全局统计,例如age = youth的分类noyes的总数分别为3和1。
    • 通过这些统计值计算各特征的分裂指标(如信息增益、基尼系数等),选择最佳分裂特征。
  • 构建分裂节点

    • Reduce阶段汇总后,确定当前节点的分裂点(如选择agecredit),并将子节点继续递归处理。

4. 并行处理的优势

  • 任务分解

    • 水平划分实现了数据集的分片处理,减少了单个计算节点的内存压力。
    • 垂直划分实现了特征的独立统计,进一步提升了计算效率。
  • 完全并行化

    • 每个节点(数据分片)可以独立构建其子树,直到最终形成完整的决策树。

5. 总结

  • 关键思想:利用MapReduce将数据的水平和垂直处理并行化。
  • 应用场景:适用于大规模数据集和高维特征场景,充分利用分布式计算的能力。
  • 优势
    • 减少单节点计算负担;
    • 提高训练效率;
    • 支持海量数据和特征处理。

图中展示的具体示例(如<key, value, value2>和Reduce的结果)形象地说明了如何通过分布式统计和并行计算快速构建决策树。

(二)并行化的随机森林——并行CART决策树算法

在这里插入图片描述
上图描述了随机森林(Random Forest)算法的并行化实现过程,特别是基于CART(分类回归树)算法构建的随机森林。以下是主要步骤的解析:

1. 原始数据集的处理

  • 步骤①:从原始数据集 D D D中,基于随机抽样的方法生成多个随机数据集(即子样本数据集 D 1 , D 2 , … , D k D_1, D_2, \dots, D_k D1,D2,,Dk)。
    • 这种随机抽样采用的是有放回的随机采样方法(Bootstrap),每个子数据集和原始数据集大小相同,但样本可能重复。

2. 构建子数据集

  • 步骤②:对每个子数据集 D i D_i Di,随机选择原始数据集中的 M M M个特征,而非使用全部特征(即进行特征随机选择)。
    • 在每个节点分裂时,只考虑 M M M个特征中的最佳分裂,而不是所有特征,从而增加模型的多样性。

3. 构建决策树

  • 步骤③:基于CART算法,在每个子数据集 D i D_i Di上构建决策树 T 1 , T 2 , … , T k T_1, T_2, \dots, T_k T1,T2,,Tk
    • 注意:CART决策树一般会完全生长(无剪枝),以最大程度保留样本数据的特征。

4. 并行化的树构建过程

  • 并行实现
    • 每个决策树 T i T_i Ti的构建过程可以在不同的计算节点或线程上独立并行进行,因为每棵树仅依赖于其对应的随机样本数据 D i D_i Di和随机特征选择,不需要与其他树通信。
    • 并行化大大提升了随机森林训练的效率,尤其在大规模数据集的场景中。

5. 集成决策与投票

  • 步骤④:训练完成后,将所有决策树 T 1 , T 2 , … , T k T_1, T_2, \dots, T_k T1,T2,,Tk组成随机森林。
  • 步骤⑤:输入新的预测数据,随机森林会让所有决策树分别对输入数据进行预测,得到多个分类结果 R 1 , R 2 , … , R k R_1, R_2, \dots, R_k R1,R2,,Rk
  • 步骤⑥:通过投票机制(分类问题)或平均机制(回归问题),对所有树的预测结果进行综合处理,得出最终的预测结果。

总结

  • 并行化:随机森林利用数据样本的独立性和树的构建独立性,天然适合并行化。
  • CART决策树:作为随机森林的基本组成部分,使用了随机特征选择,进一步增强模型的多样性和泛化能力。
  • 投票机制:通过多树投票,随机森林具备较强的鲁棒性和抗过拟合能力。

该方法广泛应用于分类、回归等任务,是一种高效且效果优异的集成学习方法。

四、并行k-均值算法

  k-均值算法是应用最广泛的聚类算法之一,随着大数据的发展,在实际使用过程中如何提升该算法的性能成为了一个有挑战性的任务。可以基于Map Reduce实现k-均值算法,在Hadoop环境中并行运行,能够高效且廉价的处理大型数据集。

  在具体实现该算法时,将输入数据集存储在分布式文件系统HDFS中,作为<key,value>的序列文件,每个键值对代表数据集的一条记录,其中key记录的是数据文件距离起始位置的偏移量,value是该条记录的内容。将迭代后或初始化后的k个聚类中心放到Configuration中,然后在Mapper的setUp计算读取这k个聚类中心。Mapper会将同一类的数据发送至同一个Reducer。在Reducer中,只需要根据数据重新计算聚类中心即可。

  使用MapReduce框架实现k-均值聚类算法时,需要将每一次迭代作为一个MapReduce Job进行计算,通过多次运行该Job达到迭代的效果,最终得到k个聚类中心。基于MapReduce的并行k-均值算法,可以在廉价机器上有效处理大型数据集。

(一)k-均值算法算例

进行k-均值聚类的数据如下表:

x 1 x_1 x1 x 2 x_2 x2 x 3 x_3 x3 x 4 x_4 x4 x 5 x_5 x5 x 6 x_6 x6 x 7 x_7 x7 x 8 x_8 x8 x 9 x_9 x9 x 10 x_{10} x10 x 11 x_{11} x11
12239101011151616
225314131516658

x 1 x_1 x1 x 6 x_6 x6分配给node1,将 x 7 x_7 x7 x 11 x_{11} x11分配给node2,选择k=3,在开始阶段,创建一个如下表的全局文件。

在这里插入图片描述
Map阶段对于数据集中的每一个节点,读取全局文件,获得上一轮迭代生成的簇中心信息,计算样本点到簇中心的距离。在Reduce阶段reduce程序收到关于某一个簇的信息,包括该簇的ID和簇的中心以及包含的样本个数。具体如下表。

在这里插入图片描述
一次迭代完成后,进入下一次迭代,直到聚类结果不再发生变化,输出最终得到的聚类结果如下表。

在这里插入图片描述
在这里插入图片描述

(二)多元线性回归模型

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/476507.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

染色质重塑与心衰中的细胞间通讯机制:解读一篇Nature力作

染色质重塑与心衰中的细胞间通讯机制&#xff1a;解读一篇Nature力作 一、文献的主要行文思路与观点 在这篇发表在 Nature 的文章中&#xff0c;作者聚焦于心脏衰竭中的慢性炎症与纤维化问题&#xff0c;试图揭示免疫细胞与成纤维细胞之间的通讯机制。研究围绕以下几个核心问题…

WordPress添加类似说说、微博的时间轴微语页面

这个版本的WordPress可以直接使用&#xff0c;CSS样式可以完美兼容。效果如图 使用方法&#xff1a; 一、后台配置 新建微语功能 将下面的代码复制粘贴到主题的functions.php函数文件中&#xff0c;为WordPress添加微语功能。添加完成后&#xff0c;可以在WordPress后台菜单…

解决IDEA报包不存在,但实际存在的问题

前言 最近在把一个亿老项目交割给同事&#xff0c;同事在导入项目运行时遇到IDEA报包不存在&#xff0c;但实际存在的问题&#xff0c;最终通过以下方式解决 现象 在IDEA里启动运行项目&#xff0c;报某个类有问题&#xff0c;引入的包不存在。 点击这个引入的包&#xff0c;可…

云原生之k8s服务管理

文章目录 服务管理Service服务原理ClusterIP服务 对外发布应用服务类型NodePort服务Ingress安装配置Ingress规则 Dashboard概述 认证和授权ServiceAccount用户概述创建ServiceAccount 权限管理角色与授权 服务管理 Service 服务原理 容器化带来的问题 自动调度&#xff1a;…

RocketMQ: 集群部署注意事项

概述 RocketMQ 是一款分布式、队列模型的消息中间件&#xff0c;具有以下特点&#xff1a; 能够保证严格的消息顺序提供丰富的消息拉取模式高效的订阅者水平扩展能力实时的消息订阅机制亿级消息堆积能力 选用理由&#xff1a; 强调集群无单点&#xff0c;可扩展&#xff0c;任…

【Unity How】Unity中如何实现物体的匀速往返移动

直接上代码 using UnityEngine;public class CubeBouncePingPong : MonoBehaviour {[Header("移动参数")][Tooltip("移动速度")]public float moveSpeed 2f; // 控制移动的速度[Tooltip("最大移动距离")]public float maxDistance 5f; // 最大…

ECharts柱状图-带圆角的堆积柱状图,附视频讲解与代码下载

引言&#xff1a; 在数据可视化的世界里&#xff0c;ECharts凭借其丰富的图表类型和强大的配置能力&#xff0c;成为了众多开发者的首选。今天&#xff0c;我将带大家一起实现一个柱状图图表&#xff0c;通过该图表我们可以直观地展示和分析数据。此外&#xff0c;我还将提供…

element-plus的组件数据配置化封装 - table

目录 一、封装的table、table-column组件以及相关ts类型的定义 1、ATable组件的封装 - index.ts 2、ATableColumn组件的封装 - ATableColumn.ts 3、ATable、ATableColumn类型 - interface.ts 二、ATable、ATableColumn组件的使用 三、相关属性、方法的使用以及相关说明 1. C…

《数字图像处理基础》学习06-图像几何变换之最邻近插值法缩小图像

目录 一&#xff0c;概念 二&#xff0c;题目 三&#xff0c;matlab实现 对图像进行几何变换时&#xff0c;都是对数字图像进行处理。由于在matlab中使用imread函数读取的图像通常已经是数字图像&#xff0c;因此不需要进行额外的采样和量化等操作&#xff0c;就可以将图像…

TabNet 模型示例

代码功能 加载数据&#xff1a;从 UCI Adult Census 数据集中读取样本&#xff0c;进行清洗和编码。 特征处理&#xff1a;对分类特征进行标签编码&#xff0c;对数值特征进行标准化。 模型训练&#xff1a;使用 TabNet 模型对数据进行分类训练&#xff0c;采用早停机制提高效…

一次封装,解放双手:Requests如何实现0入侵请求与响应的智能加解密

引言 之前写了 Requests 自动重试的文章&#xff0c;突然想到&#xff0c;之前还用到过 Requests 自动加解密请求的逻辑&#xff0c;分享一下。之前在做逆向的时候&#xff0c;发现一般医院的小程序请求会这么玩&#xff0c;请求数据可能加密也可能不加密&#xff0c;但是返回…

锂电池学习笔记(一) 初识锂电池

前言 锂电池近几年一直都是很热门的产品&#xff0c;充放电管理更是学问蛮多&#xff0c;工作生活中难免会碰到&#xff0c;所以说学习锂电池是工程师的必备知识储备&#xff0c;今天学习锂电池的基本知识&#xff0c;分类&#xff0c;优缺点&#xff0c;循序渐进 学习参考 【…

《Vue零基础入门教程》第四课: 应用实例

往期内容 《Vue零基础入门教程》第一课&#xff1a;Vue简介 《Vue零基础入门教程》第二课&#xff1a;搭建开发环境 《Vue零基础入门教程》第三课&#xff1a;起步案例 参考官方文档 https://cn.vuejs.org/api/application#create-app 示例 const {createApp} Vue// 通…

介绍一下strncmp(c基础)

strncmp是strcmp的进阶版 链接介绍一下strcmp(c基础)-CSDN博客 作用 比较两个字符串的前n位 格式 #include <string.h> strncmp (arr1,arr2,n); 工作原理&#xff1a;strcmp函数按照ACII&#xff08;字符编码顺序&#xff09;比较两个字符串。它从两个字符串的第一…

Lucene(2):Springboot整合全文检索引擎TermInSetQuery应用实例附源码

前言 本章代码已分享至Gitee: https://gitee.com/lengcz/springbootlucene01 接上文。Lucene(1):Springboot整合全文检索引擎Lucene常规入门附源码 如何在指定范围内查询。从lucene 7 开始&#xff0c;filter 被弃用&#xff0c;导致无法进行调节过滤。 TermInSetQuery 指定…

【电路笔记 TMS320F28335DSP】时钟+看门狗+相关寄存器(功能模块使能、时钟频率配置、看门狗配置)

时钟源和主时钟&#xff08;SYSCLKOUT&#xff09; 外部晶振&#xff1a;通常使用外部晶振&#xff08;如 20 MHz&#xff09;作为主要时钟源。内部振荡器&#xff1a;还可以选择内部振荡器&#xff08;INTOSC1 和 INTOSC2&#xff09;&#xff0c;适合无需高精度外部时钟的应…

java 并发编程 (1)java中如何实现并发编程

目录 1. 继承 Thread 类 2. 实现 Runnable 接口 3. 使用 FutureTask 4. 使用 Executor 框架 5. 具体案例 1. 继承 Thread 类 概述&#xff1a;通过继承 Thread 类并重写其 run() 方法来创建一个新的线程。 步骤&#xff1a; 创建一个继承 Thread 类的子类。重…

巧用观测云可用性监测(云拨测)

前言 做为系统运维或者开发&#xff0c;很多时候我们需要能够实时感知我们所运维的系统和服务的情况&#xff0c;比如以下的场景&#xff1a; 系统上线前测试&#xff1a;包括功能完整性检查&#xff0c;确保页面元素&#xff08;如图像、视频、脚本等&#xff09;都能够正常…

python oa服务器巡检报告脚本的重构和修改(适应数盾OTP)有空再去改

Two-Step Vertification required&#xff1a; Please enter the mobile app OTPverification code: 01.因为巡检的服务器要双因子认证登录&#xff0c;也就是登录堡垒机时还要输入验证码。这对我的巡检查服务器的工作带来了不便。它的机制是每一次登录&#xff0c;算一次会话…

Unreal从入门到精通之如何绘制用于VR的3DUI交互的手柄射线

文章目录 前言实现方式MenuLaser实现步骤1.Laser和Cursor2.移植函数3.启动逻辑4.检测射线和UI的碰撞5.激活手柄射线6.更新手柄射线位置7.隐藏手柄射线8.添加手柄的Trigger监听完整节点如下:效果图前言 之前我写过一篇文章《Unreal5从入门到精通之如何在VR中使用3DUI》,其中讲…