页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。
了解数据调度

了解平台配置(灯泡灭)

数据调度是我公司自主研发的一款数据处理工具,提供可视化的数据调度作业界面,支持作业的试运行和断点调试等,提供丰富的组件。平台配置是FiData系统的基础服务模块,包含系统菜单配置、系统安全集成、系统数据源存储配置。

目录

View file
name了解数据调度.mp4
height250

1.  概述(灯泡灭)


数据调度是我公司自主研发的一款数据处理工具,提供可视化的数据调度作业界面,支持作业的试运行和断点调试等,提供丰富的组件。平台配置是FiData系统的基础服务模块,包含系统菜单配置、系统安全集成、系统数据源存储配置。

2. 界面概览(灯泡灭)



信息
title入口服务注册
Image RemovedImage Added



信息
title调度设计页面安全集成
Image RemovedImage Added


3.

创建数据调度

平台配置设置light-off (off)


3.1

创建管道

服务注册

Image RemovedImage Added

添加管道: 添加服务: 添写基本信息后确定,会在页面新增一条数据。

服务添加好了用户还不能直接看到页面,需要去权限管理页面给用户配置服务权限。

3.2

管道流程设计

安全集成

Image RemovedImage Added

点击管道进入管道设计界面,左侧是可拖拽的任务组件,分别是:开始、任务组、数据湖表任务、数仓表任务、分析模型任务。

  1. 开始:流程起点,用来设置整个流程的调度时间、频率,调度类型有两种:TIMER DRIVEN :TIMER DRIVEN 输入框输入的为秒(只能输入数字)或 CRON DRIVEN :自定义设置。
  2. 任务组:可以理解为任务的集合,可将多个任务(数据湖表任务、数仓表任务、分析模型任务)放在一个任务组里。
  3. 数据湖表任务:数据湖表对应数据接入中的物理表。
  4. 数仓表任务:数仓表对应数据建模中的物理表。
  5. 分析模型任务:分析模型对应数仓建模中分析指标模块中创建的表。

Image Removed

在左侧选中需要用到的组件拖拽到右侧的设计面板中。

连接管道,利用连接点连接管道活动,连接的顺序代表数据同步的顺序。

任务组件:

1.开始:

Image Removed

选择 CRON DRIVEN 点击自定义设计时间调度,弹出弹窗可自定义设计调度。

2.数据湖表任务

Image Removed

选中数据湖表任务,在左下角切换到数据表选项点击“+”图标弹出需要同步数据的物理表供用户选择。

3.数仓表任务:

数仓表任务的操作流程和数据湖表任务的流程相同,唯一不同点在于数仓表任务把物理表分成了维度表和事实表两类;

Image Removed

4.分析模型任务

同2、3 。

3.3 保存&发布

Image Removed

数据同步流程设计好了之后点击右侧的“保存&发布”按钮既可,稍后会根据设计的流程后台自动生产数据同步的调度任务,根据设置的调度频率自行调用。如果是点击的“保存”按钮,那么只会保存设计的流程,不会在系统后台生成调度任务。

4. 查看数据调度日志(灯泡灭)

Image RemovedImage Removed

安全集成一般用来给系统其他功能模块需要单独部署或是做为第三方系统需要被集成的时候生成身份验证的token。

Image Added

在添加客户端的时候需要选择token的有效期:三天、五天、七天、自定义。到期之后token会失效,届时系统会过期。

3.2 数据源