海牛部落 hadoop 系列教程(十六):mapreducer 编程,自定义 partition 实现整体排序、自定义组合 key 实现二次排序、assembly 打包方式、集群运行 mr 程序

资料 青牛 ⋅ 于 2017-05-23 17:52:07 ⋅ 最后回复由 多少幅度 2018-04-15 18:28:16 ⋅ 2213 阅读

1. 多个reducer实现整体排序

先观察数据情况,根据数据的分布去设计partitioner

file

这组数据中大于100的只有2个,大部分数据还是在小于100的区间,所以就拿100当个分界点
去算0到100之间的数取分区ID的方法,先找临界点。算法是(100/reducer个数) + 1
然后用输入的key与分区临界点相除取整,最后算出输入的key属于那个分区ID
当输入key大于100时把数据分到最后一分区里。
如果有2个reducer
fileyixia

以下内容回帖刷新可见………………

回复帖子,然后刷新页面即可查看隐藏内容

版权声明:原创作品,允许转载,转载时务必以超链接的形式表明出处和作者信息。否则将追究法律责任。来自海牛部落-青牛,http://hainiubl.com/topics/97
回复数量: 24
暂无评论~~
  • 请注意单词拼写,以及中英文排版,参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
Ctrl+Enter