1. semijoin，distributedcache使用
semijoin的意思是在mapper端进行连接适合数据集小（一般为比较小的字典文件）与数据集大的连接。因为数据已经在maper端join了所以不需要运行reducer
使用时在客户端用-Dmapreduce.job.cache.files或者-files通过命令行指定本地文件地址或者hdfs上的文件地址
过程是客户端先把本地文件上传到HDFS（如果指定的是HDFS路径则省略这步），各运行任务节点再从HDFS把文件下载到本地，并创建指向文件的软连接，然后通过软链接访问这个文件，任务运行完成会删除这个软链接
以下内容回帖刷新可见………………
回复帖子，然后刷新页面即可查看隐藏内容
版权声明:原创作品,允许转载，转载时务必以超链接的形式表明出处和作者信息。否则将追究法律责任。来自海汼部落－青牛,http://hainiubl.com/topics/96
