页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。
了解数据服务

目 录(灯泡灭)

数据服务是我司自主研发的一款数据消费工具,提供可视化的服务配置界面,搭建统一的数据服务总线,帮助企业提升数据资产的价值,同时保证了数据的可靠性、安全性和有效性。

目录

View file
name了解数据调度.mp4
height250


1.  概述(灯泡灭)


数据服务是我司自主研发的一款数据消费工具,提供可视化的服务配置界面,搭建统一的数据服务总线,帮助企业提升数据资产的价值,同时保证了数据的可靠性、安全性和有效性。数据服务是我司自主研发的一款数据消费工具,提供可视化的服务配置界面,搭建统一的数据服务总线,帮助企业提升数据资产的价值,同时保证了数据的可靠性、安全性和有效性


2. 界面概览(灯泡灭)



信息
iconfalse
title服务设计页面入口
Image RemovedImage Added



信息
iconfalse
title服务设计页面
Image RemovedImage Added



信息
iconfalse
title数据源页面设计数据源设计页面
Image RemovedImage Added





3.

创建数据调度

创建应用(下游系统)light-off (off)


3.1

创建管道

创建应用

Image Removed添加应用: 添写基本信息后确定,会在页面新增一条数据

添加管道: 添写基本信息后确定,会在页面新增一条数据。服务配置:点击进入服务配置页面,配置API服务

Image Added

3.2

管道流程设计

应用API服务订阅

Image Removed点击应用进入API服务订阅界面,正文列表展示的是手动订阅过的API,右侧展示的是应用账号信息。

点击管道进入管道设计界面,左侧是可拖拽的任务组件,分别是:开始、任务组、数据湖表任务、数仓表任务、分析模型任务。

  1. 开始:流程起点,用来设置整个流程的调度时间、频率,调度类型有两种:TIMER DRIVEN :TIMER DRIVEN 输入框输入的为秒(只能输入数字)或 CRON DRIVEN :自定义设置。
  2. 任务组:可以理解为任务的集合,可将多个任务(数据湖表任务、数仓表任务、分析模型任务)放在一个任务组里。
  3. 数据湖表任务:数据湖表对应数据接入中的物理表。
  4. 数仓表任务:数仓表对应数据建模中的物理表。
  5. 分析模型任务:分析模型对应数仓建模中分析指标模块中创建的表。

Image Removed

在左侧选中需要用到的组件拖拽到右侧的设计面板中。

连接管道,利用连接点连接管道活动,连接的顺序代表数据同步的顺序。

任务组件:

1.开始:

Image Removed

选择 CRON DRIVEN 点击自定义设计时间调度,弹出弹窗可自定义设计调度。

2.数据湖表任务

Image Removed

选中数据湖表任务,在左下角切换到数据表选项点击“+”图标弹出需要同步数据的物理表供用户选择。

3.数仓表任务:

(警告)数仓表任务的操作流程和数据湖表任务的流程相同,唯一不同点在于数仓表任务把物理表分成了维度表和事实表两类;

Image Removed

4.分析模型任务

同2、3 。

3.3 保存&发布

Image Removed

数据同步流程设计好了之后点击右侧的“保存&发布”按钮既可,稍后会根据设计的流程后台自动生产数据同步的调度任务,根据设置的调度频率自行调用。如果是点击的“保存”按钮,那么只会保存设计的流程,不会在系统后台生成调度任务。

4. 查看数据调度日志(灯泡灭)

Image RemovedImage Removed

  1. 引入API:弹出API服务页面,勾选需要的API服务点击确定,会在正文列表看到最新订阅的API信息,如需取消订阅可直接将启用状态切成禁用,或在引入API时取消已勾选的API服务
  2. 启用/禁用:对应用下已订阅的API进行启用/禁用,禁用状态下的API服务在下游客户端不可访问
  3. 参数配置:API服务内置参数配置,参数来源于该API的请求参数配置。可控制API的某些请求参数中是否体现在生成的API文档中,从而控制下游客户端调用时是否可见该参数
  4. 生成文档:生成API服务的PDF版本的调用示例文档,默认在网页下以预览状态打开,支持在线下载以及联机打印。文档中含API入参出参信息、全局状态码信息、API调用示例信息,调用示例包含JAVA/.NET版本

Image Added

1.引入API页面

Image Added

2.参数配置页面

Image Added

3.生成文档案例(部分截图)

Image Added

Image Added

4. 创建API服务数据源(灯泡灭)



信息
title数据源列表

Image Added



信息
title数据源新增/编辑

Image Added


5. 创建API服务(灯泡灭)


5.1 界面功能描述

  1. 搜索符合条件的API
  2. 新增API
  3. API列表
  4. 调用此API产生的调用日志
  5. API字段参数自定义配置
  6. 编辑API配置
  7. 查看API配置
  8. 删除API

Image Added

5.2 配置API

1.点击右上角加号按钮新增API,弹出数据源选择窗口,选择数据源点击确定自动进入到API配置页面

Image Added

2.API配置页面--配置普通API

Image Added

  1. 选择配置的API类型,选择普通API,普通API为单表查询
  2. 根据选择的数据源加载数据源Tree,Tree展示的内容为数据源的元数据信息
  3. 配置API执行的SQL脚本,配置方式为拖拽左侧Tree上面某张表下面的字段
  4. 配置API请求参数,配置方式为拖拽左侧Tree上面某张表下面的字段
  5. 配置输入参数,输入参数即API请求参数,拖拽字段到第四步时,输入参数列表自动渲染加载出当前拖拽的字段,根据业务需求填写参数描述以及参数值
  6. 删除配置参数,删除配置参数时,对应第四步展示的字段也会自动删除,删除后API的查询结果将不受此参数条件限制
  7. 执行:执行当前配置的API并返回前10条数据进行预览。停止:中断上一次执行过
  8. 执行预览结果,执行成功后展示前10条数据进行预览
  9. 保存,保存此API配置并在API列表中加载出刚配置的API

3.API配置页面–配置自定义API

Image Added

  1. 选择配置的API类型,选择自定义API,自定义API可单表可多表联合查询
  2. 根据选择的数据源加载数据源Tree,Tree展示的内容为数据源的元数据信息
  3. 配置API执行的SQL脚本,配置方式为拖拽左侧Tree上面某张表下面的字段或手动输入
  4. 手动输入时支持使用表名或表别名点出该表下的字段
  5. 配置输入参数,输入参数即API请求参数
  6. 配置API请求参数,点击加号下方表格会新增一行,根据业务需求填写参数名称、参数描述以及参数值
  7. 删除配置参数,删除后API的查询结果将不受此参数条件限制
  8. 执行:执行当前配置的API并返回前10条数据进行预览。停止:中断上一次执行过程
  9. 执行预览结果,执行成功后展示前10条数据进行预览
  10. 保存,保存此API配置并在API列表中加载出刚配置的API


6. API服务调用日志(灯泡灭)


日志入口1:应用页面点击日志图表,查看该应用下的API调用日志情况

日志入口2:API列表页面点击日志图标,查看该API的调入日志情况

Image Added