这几天 研究了一下 会了一些转换 ,但是感觉 还是不太会 怎么个流程去做阿 拿到原始表 把数据转换到ods层 然后到dwd呢 抽取ods几张表中需求的字段 转换过去吗!
个人觉得kettle从源系统抽到贴源层就可以了,仓内加工还是用SQL来的方便。
@犀牛 以前都没用过搞过 仓内 我把数据源抽到ods 然后具体就写sql 把 ods层 几个表 导入一个dwd表中吗 join进去吗
@张孟轩 那要具体看你们数仓咋架构设计的了,一般来说贴源层是要进模型层的,模型层就按照模型师的er图来做SQL就好了,比如多张表的其中一部分字段抽离出来,落地到模型层的某一主题下面。ETL工具只适合做数据交换工作而不适合做仓内复杂逻辑加工,写写SQL封装到一个脚本里,用调度调脚本执行就好了,比etl工具做仓内加工方便多了,kettle做仓内加工太麻烦了,你还得在windows上做各种逻辑的点点点和逻辑连线,以及中间多表关联等等,最终导出ktr,再用pan去上调度,想想都能吐。
@犀牛 对!我们设计也是这样!多张ods表提取一些字段进dwd某个主题下层,那我就直接把需要的字段写成sql然后直接调度来导就可以了吧,
@张孟轩 是的,不用整那些花里胡哨的etl工具,etl就抽数就行了,还是Python+sql或者shell+sql最朴实无华也最靠谱。
@犀牛 好的!谢谢了哥!
`单行代码`
关注海汼部落技术社区