Apache DolphinScheduler系列1-单节点部署及测试报告

文章目录

整体说明
一、部署环境
二、版本号
三、部署方案
四、部署步骤
- 4.1、上传部署包
- 4.2、创建外部数据库
- 4.3、修改元数据库配置
- 4.4、上传MySQLl驱动程序
- 4.5、初始化外部数据库
- 4.6、启停服务
- 4.7、访问页面
五、常见问题及解决方式
- 5.1、时间不一致
- 5.2、异常终止
- 5.3、大量日志
- 5.4、数据源中心连接Hive失败
- 5.5、SQL脚本使用Hive UDF
六、测试报告
- 6.1、测试结论
- 6.2、兼容性要求及评估结果
- 6.3、性能指标及评估
- 6.4、安全指标及评估
- - 6.4.1、测试指标
  - 6.4.2、修复方法
  - 6.4.3、测试结论

摘要： Apache DolphinScheduler系列1-单节点部署及测试报告

关键词： Apache DolphinScheduler、单节点部署、测试报告

整体说明

从部署环境的简介，到部署方案的介绍，以及实际的部署步骤，到解决具体的常见问题，最后给出简单的测试报告，简单图示如下：

一、部署环境

Java版本： 1.8.0_181
操作系统： CentOS Linux release 7.6.1810
MySQL库版本： 5.7.22-22-log
MySQL驱动程序版本： 8.0.16

二、版本号

版本： 3.2.0
备注说明： DolphinScheduler 3.2.0 版本兼容更多类型数据库，国产化支持Damen数据库，项目中有国产化需求，所以选择此版本
下载地址：https://dolphinscheduler.apache.org/zh-cn/download/3.2.0

三、部署方案

平台只做数据质量监控、告警发送，不存在高并发相关需求场景，所以采用单机部署
因为该系统需要持续使用，所以要采用配置外部数据库

四、部署步骤

官网部署步骤地址：https://dolphinscheduler.apache.org/zh-cn/docs/3.2.0/guide/installation/standalone

4.1、上传部署包

上传程序到服务目录，apache-dolphinscheduler-3.2.0-bin.tar.gz

解压文件：

tar -xvzf apache-dolphinscheduler-3.2.0-bin.tar.gz

4.2、创建外部数据库

创建外部数据库实例、账号，并对账号授权库的全部权限；

备注说明： 其中 user 和 passwd 为自己安装好的数据库的用户名和密码

mysql-uroot –p
mysql>CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULTCOLLATE utf8_general_ci;
mysql>GRANT ALL PRIVILEGES ON dolphinscheduler.* TO '{user}'@'%' IDENTIFIEDBY '{password}';
mysql>GRANT ALL PRIVILEGES ON dolphinscheduler.* TO