[教程] Spark 教程(Spark3.x 原理深入与实战调优,全方位讲解)

教程 青牛 ⋅ 于 2023-05-04 14:08:29 ⋅ 最后回复由 elegant 2023-11-27 16:22:50 ⋅ 7308 阅读

Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是由加州大学伯克利分校的AMP实验室所开源的类MapReduce的通用并行框架,拥有MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此计算速度更快。

前置知识:
Linux基础、Scala基础、Java基础

课程视频链接:https://www.bilibili.com/video/BV1og4y1L7JB
配套笔记课件地址:

  1. Spark 的背景以及安装和部署:http://www.hainiubl.com/topics/76290
  2. Spark 的 RDD 编程 01:http://www.hainiubl.com/topics/76295
  3. Spark 的 RDD 编程 02:http://www.hainiubl.com/topics/76296
  4. Spark 的 RDD 编程 03:http://www.hainiubl.com/topics/76297
  5. RDD 的缓存和内存管理:http://www.hainiubl.com/topics/76298
  6. shuffle 和共享变量:http://www.hainiubl.com/topics/76299
  7. 序列化、GC 和操作 hbase:http://www.hainiubl.com/topics/76300
  8. spark-sql:http://www.hainiubl.com/topics/76301
  9. spark Streaming01:http://www.hainiubl.com/topics/76302
  10. sparkStreaming02:http://www.hainiubl.com/topics/76291
  11. sparkStreaming03:http://www.hainiubl.com/topics/76292
  12. spark 优化 01:http://www.hainiubl.com/topics/76293
  13. spark 优化 02:http://www.hainiubl.com/topics/76294

Word版笔记下载地址:http://www.hainiubl.com/topics/76306

本课程中使用的海汼部落实验室大数据实操云平台使用教程:https://www.bilibili.com/video/BV12W4y1p7Fr

file
file
file
file
file

版权声明:原创作品,允许转载,转载时务必以超链接的形式表明出处和作者信息。否则将追究法律责任。来自海汼部落-青牛,http://hainiubl.com/topics/76305
本帖已被设为精华帖!
本帖由 青牛 于 1年前 置顶
回复数量: 2
  • ycf323
    2023-11-26 20:35:03

    非常好,太牛了

  • elegant
    2023-11-27 16:22:50

    请问提取码是什么?

暂无评论~~
  • 请注意单词拼写,以及中英文排版,参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
Ctrl+Enter