用最诙谐的语言提升你对大数据的认知

写在前面

本文隶属于专栏《100个问题搞定大数据理论体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!

本专栏目录结构和参考文献请见100个问题搞定大数据理论体系

引子

小明又来了~

image.png

小明接过大明给的考卷:

想转行大数据?这66个问题你搞懂了没?

看到第一题:

1.  你能谈谈你对大数据的认知吗?大数据到底是什么?

“我要是知道什么是大数据,我还担心转行干嘛,直接就干啊!”

“算了,还是猜吧”

image.png

“怎么突然想到了一句歌词。。草,又走神了”

小明答到:

大数据应该就是很大的数据吧。。

大明看到这里:

“就这?”

小明苦笑:

“还能咋滴?我一个搞Java后端的,大数据也是从手机电视上知道的,只能这么猜啊。。”

image.png

大明看了小明半晌,叹了口气:

“诶,要不是你妈和我妈是铁闺蜜,要不是我妈和我唠叨了好几天,我才懒得搭理你呢。”

“我来跟你简单概括一下大数据,你好好听着,当然,丑话说在前头,我干大数据也没几年,我就简单跟你谈谈我对大数据的认知。”

正文

  1. 大数据是围绕着庞大数据所构建的一种技术生态体系
  2. 大数据本质上是一种技术手段
  3. 大数据的核心就是数据
  4. 大数据最核心的价值就是利用廉价的机器进行大规模数据的处理分析

大明继续解释到:

大数据,本质上就是围绕了庞大的数据(Volumn) 所构建的一种技术生态体系,包括数据的采集、传输、计算、分析、调度、存储等。

这个数据量级早期还只有GB级别,伴随着技术的发展,已经逐渐上升到TB,PB的级别。

更为关键的是,数据的来源多种多样(Variety)。

一般来说,大数据的数据来源于四大源头:

  1. 互联网,包括手机电脑等
  2. 企业数据
  3. 物联网,这也是未来的科技核心之一
  4. 科学研究

形式也是千变万化,比如文本,音频,视频等等。

这么庞大的数据量,使用传统的单机根本无法存储下来,但是超级计算机太贵(亿元为单位),不利于大数据的普及与发展,故历史的潮流推动着大数据朝着“更多节点”的方向发展,只有更多的廉价机器(万元为单位)才能存储这么庞大的数据量,才能满足大多数公司的需求,但是想要将这么庞大的机器数目统一成一个综合对外提供服务的集群,也不是一件容易的事情。

此外,人们也逐渐的意识到大数据中蕴藏的无限价值Value)。举个简单的例子,头条你也用过对吧,头条能够发展起来,大数据功不可没,因为头条公司是最早一批发现大数据中存在无限价值的公司,所以头条成功了。头条也把他们吸取的经验应用到了抖音上面,所以抖音也成功了。

而且,随着越来越多的企业投入到大数据的开发,以及越来越多的场景亟待大数据来支撑,数据处理的速度和时效性(Velocity)要求也会更高。因为很多数据是有时效要求的,比如你走路,走到一个地方,如果数据不及时处理,等你走到另一个地方再去给你推送附近的店铺,这可就太迟了。再比如一个更典型时效要求更高的场景——实时防欺诈,支付的时长就那么长,用户最多等你几秒钟,你几秒钟之内除了完成基本的支付逻辑外,不能实时的进行诈骗检测,等用户把钱汇过去就太晚了。

事实证明,很多数据的价值随着时间的流逝在慢慢变低,而且存储历史数据会带来更高的存储成本,所以支持更快处理速度的实时流处理技术越来越受到企业的青睐。

其实我上面提到的 4V:

  1. Volume
  2. Variety
  3. Value
  4. Velocity

就是大数据最典型的四大特征

说到这里,你基本上对大数据有了一个基础的认知了吧。

小明:

点头.gif

大明:

邪魅一笑.gif

“爽!被我装到了!嘿嘿,突然有点喜欢小明了。”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/53866.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

大数据平台技术回忆版

liu老师当时也没给我们怎么画重点 我主要是到mooc上面 还有刷题软件上找了题做做 确实有原题 怎么说呢 光看ppt是不太行的 因为有的知识点出的很细。 可以到刷题神器上看看做做题 简单举几个例子 比如这种是吧 选择题跟判断题也是到网上找找题做 确实碰到了原题目 是吧 …

hahabet05:com浅谈大数据一之认识大数据

浅谈大数据一之认识大数据 ***数据,相信在大部分人的脑海中会有一个大概的意识。没错,数据并不是一个新的概念,在这几天年的发展中,人类一直在利用着数据做着记录,而数据的价值,特别是大数据的价值却是近几…

话题讨论征文--谈论大数据时我们在谈什么 获奖名单公布

从社会发展趋势的角度,很明显大数据会是目前肉眼可及的视野范围里能看到的最大趋势之一。从传统IT 业到互联网、互联网到移动互联网,从以智能手机和Pad 为主要终端载体的移动互联网到可穿戴设备的移动互联网,然后再到万物互联的物联网&#x…

从图像处理到语音识别,25款数据科学家必知的深度学习开放数据集

选自Analytics Vidhya,作者:Pranav Dar,机器之心编译。 本文介绍了 25 个深度学习开放数据集,包括图像处理、自然语言处理、语音识别和实际问题数据集。 介绍 深度学习(或生活中大部分领域)的关键在于实践…

程序人生 - 祝贺登榜《大数据领域内容榜》NO.20

博客文章传送门:LeetCode(数据库)- 报告系统状态的连续日期

【大数据模型】LeonardoAi让心中所想跃然纸上

汝之观览,吾之幸也! 本文主要聊聊LeonardoAi绘图工具 一、注册Discord账号 不管LeonardoAi还是midjourney,都需要注册一个Discord账号,Discord是一个社区软件,在这里可以进行讨论和交流使用心得 LeonardoAi官网地址 …

《数据分析咖哥十话》包邮送3本

文末留言包邮送三本 小雪求职记 入秋以来,市场就开始不景气,我们的女主人公小雪从一家互联网公司的运营岗毕(cai)业(yuan)以来,三个月都没接到任何面试。冬天到了,表姐小冰告诉她&am…

微信小程序通讯地址授权拒绝后的处理方式

在小程序开发时,在用户拒绝获取通讯地址的授权后,在一段时间内将无法在弹出授权提示导致无法获取通讯地址。通过看微信的api文档,发现其中有一个wx.openSetting()方法可以打开设置页面进行授权。但wx.openSetting()方法打开的设置页面只能显示…

微信第三方平台对接小程序发版

微信第三方平台对接小程序发版(工作笔记) 微信第三方平台是商家把公众号或小程序代交给服务商来管理,当商家把小程序授权给第三方平台后,同时授权小程序开发与数据分析,小程序后台就无法发版,必须开发人员…

针对小程序wx.getUserProfile接口将被收回后做出的授权调整

小程序文档中提出的调整说明 调整说明: 自 2022 年 10 月 25 日 24 时后(以下统称 “生效期” ),用户头像昵称获取规则将进行如下调整: 自生效期起,小程序 wx.getUserProfile 接口将被收回:生效期后发布…

【微信小程序】图片违法违规内容鉴别

微信小程序通过云调用校验一张图片是否含有违法违规内容。官方参考文档 选择图片 wx.chooseImage({count: 6,sizeType: [compressed], // 可以指定是原图还是压缩图,默认二者都有sourceType: [album, camera], // 可以指定来源是相册还是相机,默认二者都…

小度智能音箱=高灵敏度窃听器

智能音箱的运行原理:录制用户房间的声音,上传至百度语音识别服务器,语音识别服务器根据识别结果向用户反馈相应的语音内容。 手机APP无时不刻都在窃取用户信息,那么智能音箱呢? 智能的音箱的原理决定着音箱自身无时不…

小度和天猫精灵哪个好?这次我站小度

之前家里已经有一个天猫精灵了在客厅,想买一个智能音箱放在卧室,然后就入手了一个小度在家。以前只有一个音箱没有对比,也就没有伤害,但是两个音箱都在家使用,才知道原来还是小度在家要好很多。 首先就说音质吧&…

亲测89元小度智能音箱,这或许是国民级智能音箱应有的姿态

作者|震霆 出品|遇见人工智能 公众号|GOwithAI 会场突然好一阵躁动,仔细一看,原来是蔡康永来了! ▲图注:蔡康永现身“小度智能音箱发布会” 他来干嘛?难道不是走错…

小度C1可以改语言吗,小度音箱怎么更改唤醒词

小度音箱行业版2.3.6安卓版 类型:生活服务大小:13.6M语言:中文 评分:5.0 标签: 立即下载 小度音箱是通过语音进行唤醒的,唤醒词是默认的,用户说唤醒词来唤醒小度音箱,有小伙伴想更改…

大学里挂了一科MySQL_那些在大学中,学生容易“挂科”的科目,学生:挂柯南也帮不了我...

文/ 高中时期的课业繁重,为了考上家长和老师口中,大学中的“伊甸园”,为此很多学生不得不背负沉重的学习压力努力向前。 记得上高中的时候,上学的压力很大,而家长和老师总是将大学描绘的“生动多彩”。于是我们看着理想…

linux shell两条命令,Linux最常用的18个Shell命令

有些人仍然会有这中愚蠢的想法,他们认为使用Linux就必须使用Linux shell命令。胡说!你可以不懂得任何Linux命令,比如说ps,grep,ls等,但是你仍然可以使用很多现代的Linux桌面发行版。 Linux的系统管理员与桌…

c语言游标使用案例,深入显出数据结构C语言版(6)——游标数组及其实现

深入浅出数据结构C语言版(6)——游标数组及其实现 在前两次博文中,我们由表讲到数组,然后又由数组的缺陷提出了指针式链表(即http://www.cnblogs.com/mm93/p/6576765.html中讲解的带有next指针的链表)。但是指针式链表也不是完美无缺的,在某些…

华为谷歌android 6.0是什么,盘点那些用上Android 6.0的手机

目前市面上大多数智能手机运行的都是Android系统,这些年来Android系统也是在不断地升级中。终于在今年的9月30日,广大用户迎来了Android 6.0版本,这个代号为棉花糖的新系统在UI设计和系统交互方面做出了很大的提升。 不过,大家也都…

测试自动化面试题

Python python有哪些数据类型? Python支持多种数据类型,包括以下常见的数据类型: 数字类型:整数(int)、浮点数(float)和复数(complex)。 字符串类型:由字…