Kettle Spoon简介
ETL(Extract-Transform-Load的缩写,即抽取、转换、装载的过程),在项目的开发过程中经常会对接第三方公司提供的数据接口,需要把接口请求到的数据入库。ETL能够做数据抽取、质量检测、数据清洗、数据转换等工作,使用这个工具能够大大的减少开发的工作量。
Kettle中有两种脚本文件,transformation(转换,以ktr结尾);job(任务,以kjb结尾)。比如我们需要对接第三方提供的REST接口,我们可以使用transformation发送get请求,请求到数据进行简单处理转换,然后插入到数据库当中。假如这个接口是实时更新数据,5分钟请求一次,那我们就要用到job这个脚本。我们可以把transformation加入到job中,设置job定时执行。
官网 :http://kettle.pentaho.org/
下载的最新版本的kettle是:pdi-ce-7.1.0.0-12
示例:发送Get请求,接收数据写入文件
接口返回数据如下所示:
第一步:新建转换
第二步:添加自定义常亮数据
添加变量urlStr,这个变量是Get接口的地址,将参数传递给下一步操作
第三步:添加查询组件Rest Client
第四步:添加文本文件输出
第五步:运行
此示例很简单,算是抛砖引玉。大家可以先从简单入手,逐渐得心应手。