数据仓库阶段：UDF 函数与字典表该如何抉择？

复杂的字段格式转换现有函数不能完成时需要自己定制一个udf，hive大小表join满足条件自动的优化成semijoin所以不用特意写个udf。

@青牛 假如源数据到ODS层跑MapReduce的代码中直接封装了UDF函数转换的逻辑，成为一个比较大的jar包，进行数据清洗，这是第一种方案。第二种方案，先一个专门跑MapReduce的jar包，到ODS层，然后从ODS层到DWD层中用UDF的jar包进行数据转换。这两种方案哪个更好，老师能详细说说最初数据清洗跑jar包和hive中用UDF的jar包底层实现有什么区别吗？

不存在你说的第二种方案，ODS层是直接上传就完事了。用hive和mr都可以到ETL从ODS到DWD。hive做脏数据统计麻烦，mr可以用counter做脏数据统计。写mr的方式好，这样可以既出数据又做了脏数据统计。