一、大数据平台
1.大数据平台方案步骤:
①市场上有哪些大数据平台
②硬件、系统、业务增长等方面
③方案是否通过
通过后:按照一期目标投入
先虚拟环境部署联系,再实际部署
《大数据架构介绍》《Hadoop架构解析》《Hadoop集群规划》
《Hadoop安装部署》,《实验:Hadoop集群搭建》
《Hadoop核心组件-HDFS》,《实验:HDFS查看元数据》《高可用HDFS》
十分的事情,完成十二分!!!比预期完成的更好
因为需求、业务需求,所以上大数据
2.数据库管理员 (DBA) 是指负责维护、保护和运营数据库,确保正确存储和检索数据的专业人员。
3.大数据:大量、多样、快速、价值密度低的数据
4.传统服务器架构:单机、主备、主从-----数据之间需要同步,例如:一人一本完整的书,得复印十本书
现有服务器架构:分片式架构,将数据分散在多个节点,多个节点合成一个数据,例如:查找一本书中的页数,每10页分给一个人,合起来,就是页码数
二、主流大数据平台---Hadoop
1.Hadoop常用组件:
2.结构
主节点:领导,从节点:员工
3.版本
一版本无Yarn,只能通过MapReduce进行资源管理和数据处理,只有一个leader
二版本好处:以下三个好处 ---加入了yarn,有两个leader
4.运行模式
三、集群-----不是某一个人的任务,而是一群人的任务
集群考虑:组件分配、硬件、虚拟化和节点配置等;