华为云服务

【计算】

【存储】

对象存储服务 OBS

对象存储服务（Object Storage Service，OBS）是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。

OBS系统和单个桶都没有总数据容量和对象/文件数量的限制，为用户提供了超大存储容量的能力，适合存放任意类型的文件，适合普通用户、网站、企业和开发者使用。OBS是一项面向Internet访问的服务，提供了基于HTTP/HTTPS协议的Web服务接口，用户可以随时随地连接到Internet，通过OBS管理控制台或各种OBS工具访问和管理存储在OBS中的数据。此外，OBS支持SDK和OBS API接口，可使用户方便管理自己存储在OBS上的数据，以及开发多种类型的上层业务应用。

产品文档：
https://support.huaweicloud.com/productdesc-obs/obs_03_0370.html

【网络】

【数据库】

云数据库 RDS

在这里插入图片描述
云数据库RDS（Relational Database Service，简称RDS）是一种基于云计算平台的稳定可靠、弹性伸缩、便捷管理的在线云数据库服务。云数据库RDS支持以下引擎：

MySQL
PostgreSQL
SQL Server
MariaDB

云数据库RDS服务具有完善的性能监控体系和多重安全防护措施，并提供了专业的数据库管理平台，让用户能够在云上轻松的进行设置和扩展云数据库。通过云数据库RDS服务的管理控制台，用户无需编程就可以执行所有必需任务，简化运营流程，减少日常运维工作量，从而专注于开发应用和业务发展。

产品文档：
https://support.huaweicloud.com/productdesc-rds/rds_01_picture.html

RDS for MySQL用户指南：
https://support.huaweicloud.com/usermanual-rds/rds_mysql_02_0001.html

【大数据】

MapReduce服务 MRS

在这里插入图片描述

大数据是人类进入互联网时代以来面临的一个巨大问题：社会生产生活产生的数据量越来越大，数据种类越来越多，数据产生的速度越来越快。传统的数据处理技术，比如说单机存储，关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题，Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台，可以充分利用集群的计算和存储能力，完成海量数据的处理。企业自行部署Hadoop系统有成本高，周期长，难运维和不灵活等问题。

针对上述问题，华为云提供了大数据MapReduce服务（MRS），MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的一站式企业级大数据集群云服务，完全兼容开源接口，结合华为云计算、存储优势及大数据行业经验，为客户提供高性能、低成本、灵活易用的全栈大数据平台，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件，并具备在后续根据业务需要进行定制开发的能力，帮助企业快速构建海量数据信息处理系统，并通过对海量信息数据实时与非实时的分析挖掘，发现全新价值点和企业商机。

图1 MRS架构

在这里插入图片描述

MRS架构包括了基础设施和大数据处理流程各个阶段的能力。

基础设施
MRS基于华为云弹性云服务器ECS构建的大数据集群，充分利用了其虚拟化层的高可靠、高安全的能力。
虚拟私有云（VPC）为每个租户提供的虚拟内部网络，默认与其他网络隔离。
云硬盘（EVS）提供高可靠、高性能的存储。
弹性云服务器（ECS）提供的弹性可扩展虚拟机，结合VPC、安全组、EVS数据多副本等能力打造一个高效、可靠、安全的计算环境。
数据采集
数据采集层提供了数据接入到MRS集群的能力，包括Flume（数据采集）、Loader（关系型数据导入）、Kafka（高可靠消息队列），支持各种数据源导入数据到大数据集群中。使用云数据迁移云服务也可以将外部数据导入至MRS集群中。
数据存储
MRS支持结构化和非结构化数据在集群中的存储，并且支持多种高效的格式来满足不同计算引擎的要求。
HDFS是大数据上通用的分布式文件系统。
OBS是对象存储服务，具有高可用低成本的特点。
HBase支持带索引的数据存储，适合高性能基于索引查询的场景。
数据融合处理
MRS提供多种主流计算引擎：MapReduce（批处理）、Tez（DAG模型）、Spark（内存计算）、SparkStreaming（微批流计算）、Storm（流计算）、Flink（流计算），满足多种大数据应用场景，将数据进行结构和逻辑的转换，转化成满足业务目标的数据模型。
基于预设的数据模型，使用易用SQL的数据分析，用户可以选择Hive（数据仓库），SparkSQL以及Presto交互式查询引擎。
数据呈现调度
用于数据分析结果的呈现，并与数据治理中心DataArts Studio集成，提供一站式的大数据协同开发平台，帮助用户轻松完成数据建模、数据集成、脚本开发、作业调度、运维监控等多项任务，可以极大降低用户使用大数据的门槛，帮助用户快速构建大数据处理中心。
集群管理
以Hadoop为基础的大数据生态的各种组件均是以分布式的方式进行部署，其部署、管理和运维复杂度较高。
MRS集群管理提供了统一的运维管理平台，包括一键式部署集群能力，并提供多版本选择，支持运行过程中集群在无业务中断条件下，进行扩缩容、弹性伸缩。同时MRS集群管理还提供了作业管理、资源标签管理，以及对上述数据处理各层组件的运维，并提供监控、告警、配置、补丁升级等一站式运维能力。

图2 MRS与其他服务的关系图

在这里插入图片描述

产品文档：
https://support.huaweicloud.com/productdesc-mrs/mrs_08_0001.html

云搜索服务 CSS

在这里插入图片描述

云搜索服务（Cloud Search Service，简称CSS）是一个基于Elasticsearch且完全托管的在线分布式搜索服务，为用户提供结构化、非结构化文本、以及基于AI向量的多条件检索、统计、报表。云搜索服务是华为云ELK生态的一系列软件集合，为您全方位提供托管的ELK生态云服务，兼容Elasticsearch、Kibana、Cerebro等软件。

Elasticsearch是一个搜索引擎，可以实现单机和集群部署，并提供托管的分布式搜索引擎服务。在ELK整个生态中，Elasticsearch集群支持结构化、非结构化文本的多条件检索、统计、报表。Elasticsearch搜索引擎相关内容的深入介绍可参见《Elasticsearch：权威指南》：https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html。

Kibana是一个开源的数据分析与可视化平台，与Elasticsearch搜索引擎一起使用。通过Kibana可以搜索、查看存放在Elasticsearch索引中的数据，也可以实现以图表、地图等方式展示数据。Kibana的官方文档请参见：https://www.elastic.co/guide/en/kibana/current/index.html

云搜索服务的Elasticsearch集群默认提供Kibana，无需安装部署，即可一键访问Kibana。云搜索服务兼容了开源Kibana可视化展现和Elasticsearch统计分析能力。

图1 CSS与其他服务的关系
在这里插入图片描述