分布式计算架构详解以及任务调度方式

信息技术领域重要分支—分布式计算。分布式计算通过将任务分配到多个物理的计算资源上进行处理,以来提高计算效率和资源利用率。今天主讲分布式计算架构的关键组成以及在云服务器背景下任务调度的不同方式,然后再综合来看这些调度策略是怎样适应云环境的动态性和可扩展性

以前的集中式计算模式相对落后,根源是因为很难满足现在复杂的数据处理和存储需求。然而分布式计算却从根本上破解了这样的困局,它能提供的就是高扩展性、灵活性以及容错性。现在被大部分企业采用的云服务器,也从一定程度上加速了分布式计算发展,不论是任务调度还是资源管理,云服务器都在帮助企业从传统模式下走出。

 

·先来说说分布式计算架构的组成

资源层-包括处理节点、存储节点和网络基础设施;

其中处理节点是执行计算任务的工作单元,这个单元不固定死,可以是物理服务器、容器。一般来说,处理节点通常分布在不同的地理位置,并且提供高性能的计算能力。

存储节点主要负责数据的存储和检索,支持本地存储、网络附加存储(NAS)或者是存储区域网络(SAN),存储节点要配有具备可靠性和数据容错机制,用来确保数据的安全和持久性。

网络基础设施包括了链接各个节点的网络设备和通信协议。以太网、光纤网等的路由策略对于数据传输来说起到正面作用,可以保证数据传输的速度以及稳定性。

管理层-负责资源的分配、监控以及管理;

根据任务需求和资源的可用性,动态分配处理节点和存储资源是资源分配的重心,这其中涵盖了资源的初始化、配置以及回收

监控和管理是指实时监控系统的性能指标,比如节点负载、网络流量以及任务的执行状态,也针对资源的健康状况进行检测和恢复

确保系统访问的安全性、实施认证和授权机制安全性控制中重要一环。

通信层-确保各个节点之间的数据交换和协调;

数据传输协议,是对数据在节点之间传输的规则和格式的定义。TCP/IP、HTTP等

消息传递系统提供了一种机制,使得节点可以发送和接收信息,支持任务的协调和同步。

网络通信的优化是针对网络延迟和带宽限制,优化数据传输的效率和可靠性。

应用层-提供应用程序的接口和执行环境;

接口抽象、任务抽象和封装,执行环境是应用层特点。

接口抽象为应用程序提供统一接口,隐藏底层资源的复杂特征

任务抽象是将应用程序分解为可以独立执行的任务,便于在多个节点上并行处理

然后是执行环境,在运行时,提供必要支持,比如内存管理、进程调度和错误处理

·主要的两种架构模式分为Master-Slave模式以及Peer-to-Peer模式。其中前者是常见模式,Master节点负责任务分配和监控,Slave节点执行实际的计算任务。Peer-to-Peer模式主要特征是所有节点地位是平等的,相互之间分配和执行任务不会串行,各司其职。

·任务调度方式和策略

任务调度方式可以分为静态和动态,也就是不在运行中和运行中两类。

静态调度是在运行任务前完成调度过程,这种调度方式适用于任务类型和资源需求可预测的场景。

动态调度是在根据运行时的情况动态调整任务分配,这种方式适用于不确定性和变化性(即公司业务不确定 时大时小 这种就是动态调度的应用场景之一)

调度策略关键点在于负载均衡、资源利用、和响应时间

其一要确保所有计算节点的工作负载均衡;其二,要通过优化资源分配,来提高资源的利用率;在通过快速分配任务,减少任务完成的等待时间。

·再来结合云服务器来谈谈分布式计算

由分布式计算延伸出来的云服务器具有弹性伸缩,按需付费以及高可用性等优势。上面所叙述的动态调度指的就是云服务器弹性伸缩,即根据需求动态调整资源,并按照实际使用量付费。再就是多地域部署的高可用性。

灵活性和驱动力是云服务器结合分布式计算得出的优势,通过不断优化任务调度策略和资源管理办法,可以更好提高分布式计算的性能和效率。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/413135.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C# 三种定时器的用法

目录 1.System.Timers.Timer 2.System.Windows.Forms.Timer 3.System.Threading.Timer 4.简单的封装 这里介绍三种常用的定时器,方便查阅资料或直接复制使用。 1.System.Timers.Timer System.Timers.Timer 类定义了一个计时器,该计时器按固定间隔触…

线性表之数组

数组(Array)是 C/C 中最基础和重要的数据结构之一,它提供了一种有效存储和访问固定大小元素集合的方式。关于数组的定义和使用相信大家都已经熟练掌握,本文将着重为大家剖析数组的物理结构和逻辑结构。 1. 数组的物理结构 数组的…

大语言模型-GPT3-Language Models are Few-Shot Learners

一、背景信息: GPT3是于2020 年由OpenAI 发布的预训练语言模型。 GPT3在自然语言处理(NLP)任务中表现出色,可以生成连贯的文本、回答问题、进行对话等。 GPT3的网络架构继续沿用GPT1、GPT2的是多层Transformer Decoder改的结构。…

MySQL的安装配置以及可视化工具的安装

一、MySQL 的安装配置 1、找到官网 MySQL :: Download MySQL Installer (Archived Versions)https://downloads.mysql.com/archives/installer/ 2、下载 3、安装 接下来只需要一直 next 下去就好 此时我们的MySQL就安装完成了,有些人的电脑在点击完这个finish以后…

Linux内核6.12新特性:panic之后扫码显示故障信息

Linux 内核 6.12 版本即将引入一项有趣的功能——在内核Panic时显示一个可选的二维码。这一功能将允许用户通过扫描二维码直接访问内核Panic信息的日志,从而更容易地诊断问题所在。 这不是 Linux 第一次尝试使用二维码。早在2014年,就有过关于在内核Pani…

HarmonyOS(52) 使用安全控件SaveButton保存图片

SaveButton使用简介 前言SaveButton简介约束与限制 实现点击事件全部源码 参考资料: 前言 在HarmonyOS(50) 截图保存功能实现一文中简单介绍了截图保存功能,本篇博文介绍一个更简单的保存图片控件SaveButton. SaveButton简介 SaveButton允许用户通过点…

EasyCVR中的H.265技术:助力实现大规模高效流畅的视频监控应用

随着视频监控技术的不断发展和用户对视频质量要求的不断提高,高效能、低延迟的视频编码技术成为视频监控系统中的重要支撑。TSINGSEE青犀视频旗下的EasyCVR视频汇聚平台凭借其强大的视频处理能力和对H.265技术的支持,在视频监控系统中展现出显著的应用优…

运用Premiere自学视频剪辑,这些岗位你能胜任!

随着短视频的兴起和火热,短视频后期制作越来越受到人们的重视,甚至衍生出很多岗位的高薪工作。如大家所了解的,Adobe premiere正是一款视频后期剪辑和制作工具,其功能强大,应用也十分广泛,是从事后期工作者…

Mysql常见问题汇总【持续更新】

文章目录 Invalid default value for CREATE_TIME 或则 启动时 sql_mode 报错1130错误码,MySQL不能通过ip连接第一种命令方式图形化界面 mysql给用户授管理员权限mysql 新建用户时,主机名选择区别Mysql常用命令大全 Invalid default value for CREATE_T…

四大消息队列:Kafka、ActiveMQ、RabbitMQ、RocketMQ对比

四大消息队列:Kafka、ActiveMQ、RabbitMQ、RocketMQ对比 1. 社区活跃度2. 持久化消息3. 技术实现4. 高并发性能5. RabbitMQ与Kafka对比 💖The Begin💖点点关注,收藏不迷路💖 在软件开发中,消息队列&#xf…

基础算法(1)——双指针

1. 概念 常见的双指针有两种形式,一种是对撞指针,一种是快慢指针 1.1 对撞指针 一般用于顺序结构中,也称为左右指针 对撞指针从两端向中间移动,一个指针从最左端开始,另一个从最右端开始,逐渐往中间逼近…

.net dataexcel winform控件 更新 日志

增加 列宽度调整时动态显示列象素大小 更改列的宽度可以使用 column.Width属性进行修改

【持续更新】Mχ Plaayer Pro 1.86.0安卓知名播放器最新免费高级修改版

Mχ Plaayer Pro MOD 版本免费 APK,专为安卓手机和平板打造。这是一款功能强大的视频播放器,具备先进的硬件加速技术和字幕支持功能。 • 硬件加速 - 新增 HW 解码器帮助更多视频格式实现硬件加速。 • 多核心解码 - Mχ Plaayer 是首款支持多核心解码的…

基于STM32的RFID高速收费系统(论文+源码+实物)

1系统方案设计 本文基于STM32的RFID高速收费系统,其可以实现小车和货车两种车型收费,当车辆超过了规定的重量后,出现声光报警提示,并且启动杆不会抬起,只有当车辆重量低于设置值时,启动杆才会自动抬起&…

【Linux】在 bash shell 环境下,当一命令正在执行时,按下 control-Z 会?

目录 题目分析答案 题目 分析 ctrl-c: 发送 SIGINT 信号给前台进程组中的所有进程。常用于终止正在运行的程序;ctrl-z: 发送 SIGTSTP信号给前台进程组中的所有进程,常用于挂起一个进程;ctrl-d: 不是发送信…

揭秘排行榜系统:如何在高并发场景下实现高效更新!

大家好,我是你们的技术分享伙伴小米!今天我们来聊聊一个非常有趣的话题——如何设计一个排行榜。在这个互联网时代,无论是游戏、学习平台,还是各种社交应用,排行榜都是用户互动和竞争的核心功能之一。而如何设计一个高效、实时更新的排行榜,是一个充满挑战性的问题。今天…

win11,vscode上用docker环境跑项目

1.首先用dockerfile创建docker镜像 以下是dockerfile文件的内容: FROM pytorch/pytorch:1.11.0-cuda11.3-cudnn8-devel LABEL Service"SparseInstanceActivation"ENV TZEurope/Moscow ENV DETECTRON_TAGv0.6 ARG DEBIAN_FRONTENDnoninteractiveRUN apt-…

vim常用快捷键问答

vim的光标位置操作快捷键有哪些?怎样记忆它们? 在 Vim 中,光标位置的操作快捷键非常重要,可以帮助你更高效地编辑文本。下面是一些常用的光标位置操作快捷键: 基本移动 h:光标左移一个字符j:光…

使用安信可Ai-WB2-12F开启wifi与手机通信TCP-IP(AT指令)

当时在做两个单片机之间无线通信,或者单片机与手机无线通信,就像找一个蓝牙和wifi双模的无线模块,一开始看ESP8684(ESP32-C2)这个芯片模组是有wifi和蓝牙的,买回来后才发现他不可以在程序运行中更换蓝牙或者…

主流AI绘画工具-StableDiffusion本地部署方法(mac电脑版本)

Stable Diffusion是一款强大的AI生成图像模型,它可以基于文本描述生成高质量的图像。对于想要在本地运行此模型的用户来说,使用Mac电脑部署Stable Diffusion是一个非常吸引人的选择,特别是对于M1或M2芯片的用户。本文将详细介绍如何在Mac上本…