Kettle分页抽取全量数据 , 适用于大数据量初次全量抽取转换.

后续可再增加作业和转换,根据动态时间范围增量抽取转换…这篇先说全量的.

完整流程作业图如下: (后续会拆解梳理每步流程)

  • 主要步骤如下: 有3步

第一步: 把需要用到的源数据DB和目标数据DB连接准备好,没啥好说的;如下图

第二步: 创建(获取源数据页数)转换:主要获取源数据表中按5000条分页的页数.

获取源表数据页数.ktr

第三步: 创建(获取变量参数循环抽数)作业: 主要把上个转换的分页参数传入,用来分页查询,然后输出到目标表中.

获取变量参数循环抽数.kjb

下面详细说一下每一步的配置及参数设置

  • 第二步图文详细说明:

第二步中 , (获取源表数据页数).ktr 。第二步图中，如图示有五个流程节点；

如下 第二步 ，第一个节点（获取门诊表页数）：就是获取源表页数

SELECT ceil(count(1)/5000) as pagesFROM palm_clinic_payment_bill;

如下第二步 ，第二个节点（参数向下传递）：就是参数中转处理

如下 第二步 ，第三个节点（分页行号）：得到分页的数值,获取数值的行号,相当于拆解

select a.rownum from(SELECT @rownum:= @rownum + 1 AS rownum,m.*FROM(SELECT @rownum := 0) t,`palm_clinic_payment_bill` m) awhere a.rownum

如下 第二步 ，第四个节点（修改行号为分页名称）：

如下 第二步 ，第五个节点（表的页数列表）：

至此 第二步（获取源表数据页数.ktr）上面就得到了,分页的数据列表。用于后面的分页循环抽取做入参的条件。

  • 详细第三步图文说明:

第三步中 , (获取变量参数循环抽数).kjb。第三步图中，如下图示有两个转换;

详细说一下 第三步中,第一个转换 (设置分页变量.ktr) 如下图示,有两个流程节点:

详细说一下 第三步中,第二个转换 (获取变量加抽数.ktr) 如下图示,有两个流程节点:

SELECTP.*FROM(SELECT@rowno :=@rowno + 1 AS rownum,O.*FROM(SELECT * FROM palm_clinic_payment_bill) O,(SELECT @rowno := 0) t) PWHERErownum BETWEEN ((${VAR_P_PAGE} - 1) * 5000 + 1)AND (${VAR_P_PAGE} * 5000);

这里有个小技巧: 如果你获取不到字段,字段比较多,不用一个个去填写选择. 可以把上一步的分页查询的sql中的变量,替换成数字1,表示查询第一页,可以直接运行的sql, 然后再表输出的时候可以获取全部的字段,这样不用一个个选择字段了. 把数据库字段,表字段,流字段填写对应好之后,再把上一步的sql还原即可.

运行,跑起来即可