网上的Hive教程,最多用到了五六张表,一段SQL就搞定了。
打个比方,现在传统数仓有张大宽表,两百多个字段,用了几十张ODS表。逻辑比较复杂,Oracle存储过程里分成十几个步骤,每段创建临时表处理。
如果要把这张宽表迁移到Hive,SQL要怎么实现啊?是不是也是在脚本里先创建临时表?如果一段SQL写完,几百行代码,不直观不简洁,不利于修改维护。
网上的Hive教程,最多用到了五六张表,一段SQL就搞定了。
打个比方,现在传统数仓有张大宽表,两百多个字段,用了几十张ODS表。逻辑比较复杂,Oracle存储过程里分成十几个步骤,每段创建临时表处理。
如果要把这张宽表迁移到Hive,SQL要怎么实现啊?是不是也是在脚本里先创建临时表?如果一段SQL写完,几百行代码,不直观不简洁,不利于修改维护。
对的也是各临时表跑完,再最后跑一个汇总SQL。一个大SQL写完整个的,一来可读性差,二来如果有一个阶段跑错了整体要重跑。