页面历史

1.  概述

数据接入功能提供可视化的界面，方便用户进行数据的接入，支持SQL Server、Oracle、MySQL、Excel、CSV等多种数据源，数据支持以全量、增量、业务主键覆盖等方式将数据同步到本平台中

2. 界面概览

3. 数据接入

3.1 创建非实时应用

3.1.1 创建MySQL、SQL Server、Oracle驱动类型的应用

（1）创建应用： 点击添加，输入应用基本信息、联系人、驱动类型、服务器配置后，点击测试连接，连接通过，即可创建应用

应用名称：中英文名称皆可

应用简称：一般是英文名称，类似数据库的架构名称

应用负责人：一般是该系统的IT负责人，方便后续在数据接入的过程中，如果发现上游系统无法正常访问时，能够第一时间得到相应帮助

负责人邮箱：同应用负责人作用一样

驱动类型：本平台支持的几种上游系统，如mysql、sqlserver、oracle、ftp文件系统、非实时api调用、RestfulAPI实时推送

服务器配置：本平台同步数据时，用于连接上游系统的服务器基本信息

（2）创建物理表

 1.新增一张物理表 → 2.选择新增的未命名表 →   3.在页面的SQL编辑器中输入业务SQL→ 4.进入字段映射配置页面；

 5.对字段进行配置→ 6.进入覆盖方式页面

数据类型：

• 文本：

  • 存放文本类型数据

  • 设置长度

• 整型：

  • 存放数值类型，无小数类型

• 时间戳：

  • 存放时间类型数据

• 浮点数：

  • 存放小数类型数据

  • 设置精度

• 字符串：

  • 存放字符串类型数据

  • 设置长度

 7.选择同步数据的覆盖方式→ 8.保存&发布物理表

 9.填写表基本信息（表名、表描述）

 10.发布

同步方式：提供追加、全量覆盖、业务主键覆盖和业务时间覆盖等四种同步方式

• 追加：每次同步的数据将以插入的方式追加的原来的表中

• 全量：每次同步时系统将清空原来的表，并重新插入

• 业务主键覆盖：系统将根据当前设定的业务主键进行数据覆盖

• 业务时间覆盖：系统将根据以下选择的条件先从表中删除满足条件的数据，然后重新从插入满足条件的数据

3.1.2 创建ftp驱动类型的应用

（1）选择ftp驱动类型，填写ftp服务器基本信息，测试连接，连接通过即可保存应用

（2） 创建物理表

1.新增一张物理表

2.选择新增的未命名表

3.选择本次需要同步的excel/csv文件

4.预览文件内容

5.选择本次同步数据的sheet页

6.进入字段映射页面

其他操作流程同mysql驱动类型创建物理表一致

3.1.3 创建API驱动类型的应用

(1) 创建API：点击页面“新增”，输入api基本信息，即可创建api

API名称：中英文名称皆可。

API地址：一般是api的访问地址。

请求方式：调用api时指定的请求方式。

json定义：api的json解析根节点定义。

（2）配置API请求方式

（3）配置api的json结构定义

名称：一般是表英文名称or字段英文名称

类型：字段类型

推送规则：一般是字段的推送规则描述，如字段不为空

推送示例：一般是api推送的测试数据，如设置了name字段推送示例为“上海”，在发布api的时候选择按照配置调用一次api，将name字段赋值“上海”

字段映射

比如配置的json结构为一主一从结构，那么字段映射页面就要配置两张表的字段

覆盖方式同时也需要配置多表

勾选选项，发布后，会根据配置调用一次api，并将api的数据推送到本平台中

3.1.4 使用非实时API

3.点击”+“，添加api任务→ 4.选择具体的api，支持多api操作→5.指定到右边，方便调整api的调用顺序→ 6.保存api

7.保存并发布

管道的创建和基本使用在数据调度介绍文档。

3.2 创建实时应用

3.2.1 创建RestfulAPI驱动类型的应用

(1)创建api及构建json结构同上述方法一致，本平台实时api没有配置api请求方式

(2) 使用实时API

点击生成文档，在文档中有详细的调用方式。

以postman为例：

1.复制pdf文档中获取临时token的接口地址；

2.获取当前应用的账号及密码；

3.使用postman，填写接口地址，填写请求参数的账号及密码，调用接口，获取临时token（有效期60min）；

4.查看pdf文档中推送数据的接口地址，在postman中填写地址，填写请求头信息，并将临时token写入请求头中；

5.根据pdf文档中的接口构造好需要推送的数据，调用接口即可，可也通过接口返回值查看接口的调用结果，也可以在数据接入首页应用查看日志。

4. 查看应用日志