数据集是JVS-智能BI中承载数据、使用数据、管理数据的基础,同样也是构建数据分析的基础。可以通俗地将其理解为数据库中的普通的表,它来源于智能的ETL数据加工工具,可以将数据集进行分析图表、统计报表、数字大屏、数据服务等制作。
数据集管理与界面介绍
在整体的数仓架构中,数据集是在线加工的标准数据形态,数据集配置的过程就似对数据进行加工、清晰、关联、建模的过程,建模完成后,可通过手动数据执行或者周期性的数据执行,形成标准的数据集(通用),如下图所示
实现从业务数据抽取到数据统计分析库中,在界面上完成数据加工的过程。
数据集的创建
选中对应要添加数据集的目录,点击“+”新增目录菜单、数据集,这里直接选择数据集时,需要选择新建在哪个目录下,如下图所示,当然也可以直接在目录菜单上点击“+”按钮,直接创建数据集
系统进入新增数据集的界面,需要填写数据集基本的信息,对数据集进行设计
数据集的状态管理
数据集的状态是用于控制在数据应用中的可见性,状态为启用时数据集为可用状态。
在启用状态下,数据设计不可修改,通过点击禁用/启用按钮修改状态
数据集信息预览
数据信息预览包括数据加工的过程输出的结果等等,如下图所示:
数据集的设计
点击数据集设计按钮(在禁用的状态下,数据集才能进入设计状态)
进入到数据集的设计界面,其中包括基本信息配置、界面化的数据设计、周期性执行设置等具体对数据集的配置管理
设计器界面介绍
- 基本信息页
- 数据设计页
左上角可以设置数据集名称,左侧是系统提供的多种数据处理节点,主界面为数据配置画布,左侧的数据处理节点可以拖拽至画布,点击节点,下侧弹出对应的节点配置界面,后续章节将详细介绍设计器的具体操作使用方式
①:输入输出的基础算子,用户数据引入数据加工流程和完成后输出标准的数据结果
②:各种数据加工算子(后续章节将详细介绍)
③:数据加工流程配置的画布,支持拖拽式的算子链接配置
④:算子,点击画布中的算子时,系统将展示算子的配置与预览结果(建模结果)的界面
⑤:建模状态标志,绿色标志表示本节点完成模型构建,红色警示标志表示本环节还未完成建模,需要触发自动建模
⑥:在点击算子后会弹出本界面,界面上包括配置与预览建模结果数据
- 执行设置界面
本界面是提供对本数据集完成建模后,周期性或者定时触发完成数据分析结果的构建,如下图所示:
①:点击执行设置页面
②:开启定时开关后,系统按照后续的配置可以实现定制周期性的配置
③:录入负责人信息
④:录入负责人邮箱信息
⑤:设置定时任务开始时间
⑥:可以设置自定义的corn表达式
⑦:可以快速的设置周期性执行的方式,包括按照小时、天...... 等多种方式周期化执行
- 血缘视图
血缘视图用于本数据集的上下游数据关联引用具体情况,如下图所示
- 执行日志
执行日志会记录本数据集执行的历史记录,执行具体的情况,如下图所示
点击详细日志时,系统会把当时执行的具体过程都展示出来
- 权限配置
主要用于对本数据集所涉及的人员进行授权配置,如下图所示,具体的配置介绍查看相关章节
在线demo:http://bi.bctools.cn
gitee地址:https://gitee.com/software-minister/jvs-bi