FusionInsight MRS云原生数据湖
- 1、FusionInsight MRS概述
- 2、FusionInsight MRS解决方案
- 3、FusionInsight MRS优势
- 4、FusionInsight MRS功能
1、FusionInsight MRS概述
1.1、数据湖概述
数据湖是一个集中式存储库,允许以任意规模存储所有结构化和非结构化数据。可以按原样存储数据(无需先对数据进行结构化处理),并运行不同类型的分析, 从控制面板和可视化到大数据处理、实时分析和机器学习,以指导做出更好的决策
数据湖的价值在于它能够在更短的时间内从更多来源利用更多数据,并使用户能够以不同方式协同处理和分析数据,从而做出更好、更快的决策
1.2、FusionInsight概述
FusionInsight智能数据湖采用了领先的Lakehouse架构,将数据湖和数据仓库的优势融合在一起,提供了高效、规范、灵活、简洁的架构和低资源占用。这种架构降低了传统湖仓割裂导致的系统间复杂度,并减少了在湖、仓、AI开发之间来回迁移数据的工作
FusionInsight官网:https://www.huaweicloud.com/product/huaweicloudstack/fusioninsight.html
FusionInsight由多个子产品组成:
- Fusion Insight HD(大数据处理环境):使用Hive和HBase数据库
- Fusion Insight MPPDB(并行处理关系型数据库):使用PostgreSQL数据库,数据存储使用HDFS
- Fusion Insight Miner(数据分析平台):基于Fusion Insight HD
- Fusion Insight Farmer(应用容器)
- Fusion Insight Manager(操作运维系统)
FusionInsight包括多个云服务:MRS云原生数据湖、DWS云数据仓库、DGC数据湖治理中心、GES图引擎等云服务
1.3、MRS概述
华为MRS(MapReduce Service)是华为云推出的一种大数据处理服务,基于开源的Hadoop生态系统,通过简化的大数据处理流程,为用户提供一个高效、灵活、安全的大数据计算平台
华为MRS不仅支持传统的批处理任务(如MapReduce),还支持Spark、Hive、HBase等多种大数据处理引擎,适用于各类数据分析、处理和存储任务
通过华为云MRS,企业可以在云环境中构建自己的大数据平台,进行数据存储、计算、分析和可视化,帮助企业处理海量数据并从中提取有价值的洞察
华为MRS作为一个高性能的大数据处理平台,提供了一种高效、可靠、安全的数据管理和分析平台,可以帮助企业和组织更好地管理和利用海量数据
MRS介绍:https://support.huawei.com/enterprise/zh/doc/EDOC1100328015/5984720e
MRS官网:https://www.huaweicloud.com/product/mrs.html
MRS功能总览:https://support.huaweicloud.com/intl/zh-cn/function-mrs/index.html
华为MRS的优势包括:
-
计算存储分离
MRS具备计算存储分离的先进架构,鲲鹏加持,多核高性价比
-
灵活弹性伸缩
资源灵活配比,可以选择多种计算和存储资源进行组合,按需自动弹性伸缩,大大降低上云成本
-
完全兼容开源
100%兼容开源生态接口,存算分离数据迁移,支持屏蔽OBS接口,业务无感知,客户业务代码“0”改动
-
搬迁简单快速
搬迁工具齐全,简单快速完成无业务中断迁移方案
2、FusionInsight MRS解决方案
FusionInsight MRS云原生数据湖让客户在一个Lakehouse湖仓一体架构上实现“三湖一集市”,满足用户在建设数据湖过程中快速构建现代数据平台、持续演进的需求
3、FusionInsight MRS优势
FusionInsight MRS的优势包括:
4、FusionInsight MRS功能
4.1、离线数据湖:Lakehouse湖内建仓,分析链路短,建设周期短
4.2、实时数据湖:数据全链路实时分析,价值兑现从T+1到T+0
4.3、逻辑数据湖:跨湖协同分析,效率50倍提升
华为云FusionInsight MRS培训系列官方课程:https://bbs.huaweicloud.com/forum/thread-145085-1-1.html
参考文章:https://blog.csdn.net/qq_20042935/article/details/125068919