云计算期末复习(1)

云计算基础

作业(问答题)

(1)总结云计算的特点。

  • 透明的云端计算服务 
  • “无限”多的计算资源,提供强大的计算能力
  • 按需分配,弹性伸缩,取用方便,成本低廉
  • 资源共享,降低企业IT基础设施建设维护费用
  • 应用部署快速而容易
  • 软件/应用功能更新方便快捷
  • 节省能源,绿色环保
  • 集计算技术之大成,具有很强的技术性、工程型特点

(2)分析云计算的优势。

云计算作为现代信息技术的关键组成部分,为企业和个人提供了丰富的服务和解决方案,其优势可以从以下几个方面深入分析:

1.敏捷性与灵活性

   - 快速部署:用户可以即时获取计算资源,无论是服务器、存储空间还是应用程序,几分钟内就能完成资源的创建和部署,极大地提高了业务上线速度。

   - 灵活扩展:云计算支持按需分配资源,可以根据业务负载自动扩展或缩减资源,满足业务高峰期和低谷期的需求变化,避免了过度投资和资源闲置。

2.成本节约

   - 按需付费:云计算采用订阅或按使用量计费模式,取代了传统的前期大量资本投入购买硬件和软件的做法,将固定成本转化为可变成本,减轻企业的财务压力。

   - 资源利用率提升:通过多租户资源共享和高效的资源调度,云计算平台能够提高服务器、存储和其他基础设施的使用效率,避免了单个组织内部资源的浪费。

3.可扩展性和弹性

   - 动态扩展:云服务提供商的基础设施规模巨大,用户可以无缝地扩大或缩小资源规模,特别是在面对突发流量或项目需求变化时,能够快速应对而不影响服务质量。

   - 高可用性:云计算通过冗余和分布式架构确保服务高可用,即使部分硬件故障也不会导致服务中断。

4.安全性与合规性

   - 数据保护:云服务商通常会采用高级的数据加密技术、多重身份验证、防火墙以及其他安全措施,提供可能超越传统本地部署的安全水平。

   - 备份与恢复:云服务自带灾难恢复和数据备份机制,有助于企业在发生意外情况时快速恢复业务运作。

5.全球化部署和协作

   - 全球覆盖:云服务允许用户在全球多个地理位置快速部署应用和服务,支持跨国公司实现全球化的业务拓展。

   - 即时协作:云环境有利于团队成员之间的远程协作,无论地理位置如何,都能访问同一套资源,协同办公。

6.技术创新和集成

   - 创新技术便捷接入:云计算平台上整合了大量的先进技术,如AI、大数据分析、物联网(IoT)、机器学习等,用户无需自行研发就能直接利用这些服务。

   - 开发运维一体化(DevOps):云计算促进了持续集成/持续部署(CI/CD)实践,加速了软件产品的迭代和上市速度。

综上所述,云计算凭借其强大的灵活性、经济高效性、高可用性和安全性等特性,已经成为企业和开发者实施数字化转型、增强竞争力的战略工具。

• 云计算将提供一种新的计算模式和服务模式。云计算将是计算技术的一次重大变革,作为今后计算发展的潮流将大大改变现有的计算模式,对计算技术领域本身以及各个应用行业都将带来重大的影响,提供更多的发展机遇

• 通过云计算人们能获得前所未有的强大计算能力,并能按需分配,按需付费,提升了本地计算能力但使用成本低廉,而且还能大幅削减不断升级软硬件系统的费用

• 通过云计算平台强大的计算和存储能力,人们将能完成传统系统所无法完成的计算和处理,开发出更强大的应用功能,提供更多智能化应用

(3)云计算的关键技术有哪些?

主要包括以下关键技术

  • 虚拟化技术:虚拟机的安装、设置、调度分配、使用、 故障检测与失效恢复等
  • 云计算构架技术:研究解决适合于云计算的系统软硬 件构架
  • 资源调度技术:解决物理或虚拟计算资源的自动化分 配、调度、配置、使用、负载均衡、回收等资源管理
  • 并行计算技术:针对大数据或复杂计算应用,解决数 据或计算任务切分和并行计算算法设计问题
  • 大数据存储技术:解决大数据的分布存储、共享访问、 数据备份等问题
  • 云安全技术:解决云计算系统的访问安全性、数据安 全性(包括数据私密性)等问题
  • 云计算应用:面向各个行业的、不同形式的云计算应 用技术和系统
  • 此外,还有云计算中心的节能和散热等工程技术问题

(4)什么是大数据?有哪些特征?

什么是大数据

大数据意指一个超大的、难以用现有常规的数据库管理技术和工具处理的数据集。

大数据技术描述了一种新一代技术和构架,用于以很经济的方式、以高速的捕获、发现和分析技术,从各种超大规模的数据中提取价值。

有哪些特征

 

大数据特征:

(1)数据量大(Volume)

   大数据的起始计量单位至少是PB(1 000个TB)、EB(100万个TB)或ZB(10亿个TB)。非结构化数据的超大规模和增长,比结构化数据增长快10~50倍,是传统数据仓库的10~50倍。

(2)类型繁多(Variety)

    大数据的类型可以包括网络日志、音频、视频、图片和地理位置信息等,具有异构性和多样性的特点,没有明显的模式,也没有连贯的语法和句义,多类型的数据对数据的处理能力提出了更高的要求。

(3)价值密度低(Value)

   大数据价值密度相对较低。如随着物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,存在大量不相关信息。因此需要对未来趋势与模式做可预测分析,利用机器学习、人工智能等进行深度复杂分析。而如何通过强大的机器学习算法更迅速地完成数据的价值提炼,是大数据时代亟待解决的难题。

 (4)速度快、时效高(Velocity)

    处理速度快,时效性要求高,需要实时分析而非批量式分析,数据的输入、处理和分析连贯性地处理,这是大数据区分于传统数据挖掘最显著的特征。

(5)大数据和云计算有什么关系? 

     云计算是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。狭义云计算指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需资源。广义云计算指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需服务;这种服务可以是IT和软件、互联网相关,也可以是其他服务;它意味着,计算能力也可作为一种商品通过互联网进行流通。

    大数据或称海量数据,指的是所涉及的资料量规模巨大到无法通过目前主流软件工具,在合理时间内达到撷取、管理、处理并整理成为帮助企业经营决策提供更具参考价值的资讯。大数据的4V特点:Volume、Velocity、Variety、Veracity。

    从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。

其他知识点

什么是云计算

通过集中式远程计算资源池 ,以按需分配方式 ,为终端用户提供强大而廉价的计算服务能力

  • 工业化部署、商业化运作的大规模计算能力
  • 一种新的 、可商业化的计算和服务模式
  • 计算能力像水电煤气 一样,按需分配使用
  • 资源池物理上对用户透明 就像在云端一样

云计算的分类 

按云计算服务层面进行分类

  • SaaS:Software as a Service 提供各种应用软件服务
  • PaaS:Platform as a Service 提供软件支撑平台服务
  • IaaS:Infrastructure as a Service 提供接近于裸机(物理机或虚拟机)的计算资源 和基础设施服务

 按云计算系统类型进行分类

公用云、私有云、社区云、混合云

大数据的类型

• 结构特征

        – 结构化数据

        – 非结构化/半结构化数据

• 获取和处理方式

        – 动态(流式/增量式/线上)/实时数据

        – 静态(线下数据)/非实时数据

• 关联特征

        – 无关联/简单关联数据(键值记录型数据)

        – 复杂关联数据(图数据)

大数据其他知识点

并行计算基础

作业(问答题)

总结和分析MapReduce工作原理

MapReduce是一种编程模型和相关的实现,用于处理和生成大型数据集。用户指定一个map函数,处理一个键值对,生成一组中间键值对,以及一个redce函数,合并与同一个中间键相关联的所有中间值。

MapReduce的工作原理可以总结为将大规模的数据处理任务分解为多个小的子任务,并在分布式集群上并行执行这些子任务。通过将计算任务分布到多个机器上,MapReduce能够实现高效的数据处理和计算,并具有容错性和可伸缩性。

工作原理包括以下关键步骤和组件:1. Map阶段:在MapReduce中,输入数据被分割成多个小的数据块,并由多个Map任务并行处理。每个Map任务将输入数据块作为输入,并生成一系列键值对作为输出。2. Shuffle阶段:在Shuffle阶段,Map任务的输出被重新分区和排序,以便将具有相同键的键值对发送到同一个Reduce任务。这个阶段的目的是将相同键的数据进行合并和分组。3. Reduce阶段:在Reduce阶段,每个Reduce任务接收到一组具有相同键的键值对,并对它们进行处理。Reduce任务可以对这些数据进行聚合、计算或其他操作,并生成最终的输出结果。

 其他知识点

 

为什么需要并行计算 

  1. 贯穿整个计算机技术发展的核心目标:提高计算性能!
  2. 提高计算机性能的主要手段:提高处理器字长、提高集成度、流水线等微体系结构技术、提高处理器频率
  3. 单核处理器性能接近极限:1.VLSI集成度不可能无限制提高 2.处理器的指令级并行度提升接近极限 3.处理器速度和存储器速度差异越来越大 4.功耗和散热大幅增加超过芯片承受能力
  4. 单处理器向多核并行计算发展成为必然趋势
  5. 应用领域计算规模和复杂度大幅提高

上述问题的解决方案:并行计算

越来越多的研究和应用领域将需要使用并行计算技术、并行计算技术将对传统计算技术产生革命性的影响

并行计算技术的分类 

按数据和指令处理结构:

弗林(Flynn)分类

按并行类型

按存储访问构架

按系统类型

按计算特征

按并行程序设计模型/方法

并行计算的主要技术问题 

多核/多处理器网络互连结构技术  

存储访问体系结构  

分布式数据与文件管理  

并行计算任务分解与算法设计  

并行程序设计模型和方法  

数据同步访问和通信控制  

可靠性设计与容错技术  

并行计算软件框架平台  

系统性能评价和程序并行度评估

 MPI并行程序设计

MPI主要功能    

用常规语言编程方式,所有节点运行同一个程序,但处理不同的数据    

提供点对点通信(Point-point communication)

        提供同步通信功能(阻塞通信)

        提供异步通信功能(非阻塞通信)    

提供节点集合通信(Collective communication)

        提供一对多的广播通信

        提供多节点计算同步控制

        提供对结果的规约(Reduce)计算功能    

提供用户自定义的复合数据类型传输

MPI的特点和不足

MPI的特点

  • 灵活性好,适合于各种计算密集型的并行计算任务
  • 独立于语言的编程规范,可移植性好
  • 有很多开放机构或厂商实现并支持

MPI的不足

  • 无良好的数据和任务划分支持
  • 缺少分布文件系统支持分布数据存储管理
  • 通信开销大,当计算问题复杂、节点数量很大时,难以处理,性能大幅下降
  • 无节点失效恢复机制,一旦有节点失效,可能导致计算过程无效
  • 缺少良好的构架支撑,程序员需要考虑以上所有细节问题,程序设计较为复杂 

为什么需要大规模数据并行处理?

为什么需要海量数据并行处理技术?

海量数据及其处理已经成为现实世界的急迫需求

处理数据的能力大幅落后于数据增长,需要寻找有效的数据密集型并行计算方法

海量数据隐含着更准确的事实

为什么需要MapReduce?

并行计算技术和并行程序设计的复杂性 

海量数据处理需要有效的并行处理技术

MapReduce是目前面向海量数据处理最为成功的技术

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/333519.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【全开源】填表统计预约打卡表单系统FastAdmin+ThinkPHP+UniApp

简化流程,提升效率 一、引言:传统表单处理的局限性 在日常工作和生活中,我们经常会遇到需要填写表单、统计数据和预约打卡等场景。然而,传统的处理方式往往效率低下、易出错,且不利于数据的统计和分析。为了解决这些…

OpenLayers6入门,OpenLayers实现在地图上拖拽编辑修改绘制图形

专栏目录: OpenLayers6入门教程汇总目录 前言 在前面一章中,我们已经学会了如何绘制基础的三种图形线段、圆形和多边形:《OpenLayers6入门,OpenLayers图形绘制功能,OpenLayers实现在地图上绘制线段、圆形和多边形》,那么本章将在此基础上实现图形的拖拽编辑功能,方便我…

如何使用Android NDK将头像变成“遗像”

看完本文的标题,可能有人要打我。你说黑白的老照片不好吗?非要说什么遗像,我现在就把你变成遗像!好了,言归正传。我想大部分人都用过美颜相机或者剪映等软件吧,它们的滤镜功能是如何实现的,有人…

Amazon云计算AWS之[7]内容推送服务CloudFront

文章目录 CDNCDN简介CDN网络技术 CloudFrontCloudFront基本概念 CDN CDN简介 用户在发出服务请求后,需要经过DNS服务器进行域名解析后得到所访问网站的真实IP,然后利用该IP访问网站。在这种模式中,世界各地的访问者都必须直接和网站服务器连…

统计计算四|蒙特卡罗方法(Monte Carlo Method)

系列文章目录 统计计算一|非线性方程的求解 统计计算二|EM算法(Expectation-Maximization Algorithm,期望最大化算法) 统计计算三|Cases for EM 文章目录 系列文章目录一、基本概念(一)估算 π \pi π(二&…

TS(TypeScript)中Array数组无法调出使用includes方法,显示红色警告

解决方法 打开tsconfig.json文件,添加"lib": ["es7", "dom"]即可。 如下图所示。

AWS安全性身份和合规性之Artifact

AWS Artifact是对您很重要的与合规性相关的信息的首选中央资源。AWS Artifact是一项服务,提供了一系列用于安全合规的文档、报告和资源,以帮助用户满足其合规性和监管要求。它允许按需访问来自AWS和在AWS Marketplace上销售产品的ISV的安全性和合规性报告…

探索k8s集群中kubectl的陈述式资源管理

一、k8s集群资源管理方式分类 1.1陈述式资源管理方式:增删查比较方便,但是改非常不方便 使用一条kubectl命令和参数选项来实现资源对象管理操作 即通过命令的方式来实 1.2声明式资源管理方式:yaml文件管理 使用yaml配置文件或者json配置文…

常见API(JDK7时间、JDK8时间、包装类、综合练习)

一、JDK7时间——Date 1、事件相关知识点 2、Date时间类 Data类是一个JDK写好的Javabean类,用来描述时间,精确到毫秒。 利用空参构造创建的对象,默认表示系统当前时间。 利用有参构造创建的对象,表示指定的时间。 练习——时间计…

Dalle2学习

Dalle2 mini有GitHub库并且有网页可以直接测试

字典推导式

自学python如何成为大佬(目录):https://blog.csdn.net/weixin_67859959/article/details/139049996?spm1001.2014.3001.5501 使用字典推导式可以快速生成一个字典,它的表现形式和列表推导式类似。例如,我们可以使用下面的代码生成一个包含4个随机数的字…

统信UOS专业版操作系统如何安装惠普打印机驱动

通用集成驱动安装方法 以惠普P1566激光打印机为例介绍一下,在打印机管理器中选择打印机,手动选择安装驱动,找到品牌:惠普,型号:1566,安装驱动后测试打印;LaserJet Pro P1566 Foomati…

(已解决)使用IDEA开发工具提交代码时,如何获取最新的commit信息历史记录

目录 问题现象: 问题分析: 方法一:从commit信息历史记录中选取自己想要的commit信息 总结: 方法二:直接获取commit信息历史记录中最新的commit信息 总结: 解决方法: 方法一:…

SQL 语言:完整性约束

文章目录 概述主键 ( Primary Key ) 约束外键(Foreign Key)约束属性值上的约束全局约束总结 概述 数据库的完整性是指数据库正确性和相容性,是防止合法用户使用数据库时向数据库加入不符合语义的数据。保证数据库中数据是正确的,…

discuzX2.5的使用心得 札记一

从开始接受php论坛的开发任务,对php感兴趣的我开始迷恋上discuz这个产品了, 像戴志康这样的创新人才,是我们这代人的骄傲和学习的榜样 应该是了解一下,啥事discuzX2.5,百度看一下 discuz x2.5_百度百科 看完百度词条…

一文搞懂 Transformer(总体架构 三种注意力层)

本文将从Transformer的本质、Transformer_的原理_、_Transformer的应用__三个方面,带您一文搞懂Transformer(总体架构 & 三种注意力层)。 节前,我们组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友…

雷军-2022.8小米创业思考-9-爆品模式:产品力超群,具有一流口碑,最终实现海量长销的产品。人人都向往;做减法;重组创新;小白模式

第九章 爆品模式 小米方法论的第三个关键词,就是一切以产品为出发点,打造爆品模式。 大多数人对“爆品”的着眼点仅在于“爆”,也就是产品卖得好。希望产品大卖这没有错,但是“爆”是“品”的结果,爆品是打造出来的&…

单元测试(了解)

单元测试定义 针对最小功能单元(方法),编写测试代码对其进行正确性测试 之前如何进行单元测试?有什么问题? main中编写测试代码,调用方法测试 问题: 无法自动化测试 每个方法的测试可能不是…

03-02-Vue组件之间的传值

前言 我们接着上一篇文章 03-01-Vue组件的定义和注册 来讲。 下一篇文章 04-Vue:ref获取页面节点–很简单 父组件向子组件传值 我们可以这样理解:Vue实例就是一个父组件,而我们自定义的组件(包括全局组件、私有组件)…

【Vue】computed 和 methods 的区别

概述 在使用时,computed 当做属性使用,而 methods 则当做方法调用computed 可以具有 getter 和 setter,因此可以赋值,而 methods 不行computed 无法接收多个参数,而 methods 可以computed 具有缓存,而 met…