mapreducer 分布式计算框架

教程 ⋅ 海牛博士 ⋅ 于 2017-09-26 13:45:05 ⋅ 最后回复由 揽月 于 2021-07-12 21:28:33 ⋅ 23336 阅读

mapreducer是经典的计算框架，是学习大数据处理的基础，请带着这句话“化大为小，分而治之” 点击下面连接按笔记顺序进行学习

  1. mapreducer 原理

  2. hadoop 的 Windows 伪分布式环境部署

  3. Windows 开发 wordcount

  4. mapreducer 编程 counter、combiner、压缩、任务配置、MR JOB 配置文件的加载机制

  5. mapper 本地模式执行过程源码分析

  6. mapreducer 编程，排重、全局与分组的最大值最小值词计算、自定义序列化类

  7. mapreducer 编程，多目录输出、innerjoin 实现、多目录输入并指定所用 mapper

  8. mapreducer 編程，semijoin，distributedcache 使用，排序，writableComparator 使用

  9. mapreducer 编程，自定义 partition 实现整体排序、自定义组合 key 实现二次排序、assembly 打包方式、集群运行 mr 程序

  10. mapreducer 编程，任务工作链、生产项目打包方式

  11. mapreducer 编程，任务工作链高级运行方法
版权声明:原创作品,允许转载，转载时务必以超链接的形式表明出处和作者信息。否则将追究法律责任。来自海汼部落－海牛博士,http://hainiubl.com/topics/177
本帖由 青牛 于 2年前 取消置顶
点赞
回复数量: 21
暂无评论~~
  • 请注意单词拼写，以及中英文排版，参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情，可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif，教程
  • 发布框支持本地存储功能，会在内容变更时保存，「提交」按钮点击时清空
Ctrl+Enter
新 建 话 题

作者：海牛博士

创始人
做最棒的技术学习社区

海牛博士 的其他话题

分类下其他主题

随机推荐话题

QQ群1：551936262 海汼部落QQ群1

关注海汼部落技术社区