CDH拥有全球70% 的Hadoop用户,在国内也拥有庞大的用户群体。由于Cloudera 和Hortonworks 合并后厂商政策调整,不再更新、不再免费、不再提供服务,众多企业用户生产集群面临着进退两难的窘境和未知的技术风险。
- 社区版不再更新。Cloudera所有产品不再提供社区版,用户无法获取新的功能。
- 社区版不再免费。2021年1月31日开始,所有Cloudera软件都需要有效的订阅。
- 企业版不再提供服务。Cloudera推出了新一代大数据平台CDP。截止2022年3月份,CDH/HDP全部EoS,不再向用户提供售后支持。
碧茂科技作为国内最早提供CDH培训和技术服务的第三方平台服务商,一路伴随CDH成长发展,深怀对产品的感情,深感对用户的责任。自厂商停止服务以来,不断收到老学员和用户的反馈,决定公益免费提供CDH集群巡检以及60天远程技术支持服务。
一、支持范围
组件响应清单:
序号 | CDH5 | CDH6 |
---|---|---|
1 | Flume | Flume |
2 | HBase | HBase |
3 | HDFS | HDFS |
4 | Hive | Hive |
5 | Hue | Hue |
6 | Impala | Impala |
7 | Java KeyStore KMS | Java KeyStore KMS |
8 | Key-Value Store Indexer | Key-Value Store Indexer |
9 | MapReduce | MapReduce |
10 | Oozie | Oozie |
11 | Sentry | Sentry |
12 | Solr | Solr |
13 | Spark | Spark |
14 | Spark (Standalone) | Spark (Standalone) |
15 | Sqoop 1 Client | Sqoop 1 Client |
16 | Sqoop 2 | YARN (MR2 Included) |
17 | YARN (MR2 Included) | ZooKeeper |
18 | ZooKeeper | Kafka |
19 | Kafka | Kudu |
20 | Kudu |
二、服务内容
1、集群巡检 系统巡检是对大数据平台各项运行指标、数据质量、系统性能、安全性等方面进行检查和评估的过程。巡检的目的是发现问题并及时解决,以确保大数据平台的正常运行和稳定性。 大数据平台巡检包括以下内容:
- 系统配置检查:检查大数据平台各项配置是否符合要求,如内存、磁盘、网络等。
- 数据质量检查:检查数据是否完整、准确、一致、可靠,是否符合业务需求。
- 组件性能检查:检查系统的响应时间、吞吐量、并发量等性能指标是否达到预期要求。
- 安全性检查:检查系统的安全性能是否符合要求,如用户权限、数据安全、网络安全等。
- 日志记录和分析:对系统日志进行记录和分析,发现异常情况并进行排查和解决。
- 故障处理和优化:对巡检中发现的问题进行处理和优化,确保系统的稳定性和高效性。
巡检报告目录示例:
1、集群硬件与 OS 环境
1.1 节点数量及网络拓扑
1.2 硬件类型及其参数
1.3 操作系统
1.4 Hostname与DNS
1.5 透明大页
1.6 交换分区
1.7 JVM 版本
1.8 数据分区的挂载参数
1.9 磁盘分区的使用情况
2、Hadoop 平台与架构
2.1 整体情况
2.2 主集群(Cluster 1)组件概况
2.2.1 Parcels
2.2.2 角色分布
2.2.3 静态资源分配
2.4 HDFS 的配置参数与健康度
2.4.1 配置与部署情况
2.4.2 小文件问题
2.4.3 Namenode的GC情况
2.4.4 Namenode 的内存交换
2.4.5 HDFS关键性能指标
2.5 YARN/MR 的配置参数与健康度
2.5.1 配置与部署情况
2.5.2 YARN/MR 关键性能指标
2.6 HIVE/IMPALA 的主要配置参数与健康度
2.6.1 主要表及分区
2.6.2 HIVE 并发与 Zookeeper 注册项
2.6.3 Impala 关键性能与配置参数
2.6.4 Impala 的 Local Assignment比率
2.6.5 Impala 应用级健康检查方式
2.6.6 Impala 集群的健康度评估指标
2.6.7 CM 中显示的主要异常告警
3、IMPALA 负载分析与建议
3.1 主集群 CPU 使用率高,主要消耗在 user,但内存使用率低
3.2 IMPALA 组件的整体负载不高
3.3 主集群 Worker 节点的 CPU 资源使用情况
3.4 主集群(IMPALA集群)的性能诊断结论与优化方向
2、远程技术支持
针对集群巡检中发现的问题和客户提交的集群故障,进行诊断排查,并反馈故障处理方案。根据用户业务及集群现状,提供升级、迁移等技术规划建议。出具分析报告及改进意见书。
三、申请方式
1、在线申请:http://bemoredata2020.mikecrm.com/bKgyMNk
2、识别二维码申请:
上海碧茂信息科技有限公司
中科院上海计算技术研究所孵化,国家高新技术企业,专业大数据平台第三方服务商。公司成立于2011年,总部位于上海,在北京、深圳、长沙等地设有分支机构,形成了覆盖全国的服务体系。为客户提供基于Cloudera、华为等主流大数据平台,从系统架构、数据治理到人才培养,全生命周期、跨行业的底层大数据解决方案和技术支持。参与建设或维护了中石油大数据云计算中心、华星光电大数据平台、京东方大数据平台、中国商飞智能刀具检测系统、万达金融风控大数据平台、中国移动黑龙江中心计费系统等重大项目。