Structured-Streaming是基于SparkSQL引擎构建的可扩展和容错流处理引擎。计算在同一个优化的SparkSQL引擎上执行。最后,系统通过检查点和预写日志确保端到端一次容错保证。简而言之,结构化流提供了快速、可扩展、容错、端到端的一次流处理。
前置知识:
Linux基础、Scala基础、Spark基础、SparkStreaming基础、SparkSQL基础
课程视频链接:https://www.bilibili.com/video/BV1uX4y187ub
配套笔记课件地址:
- 概念和数据源:http://www.hainiubl.com/topics/76288
- watermark 和 join:http://www.hainiubl.com/topics/76287
- sink 部分:http://www.hainiubl.com/topics/76289
Word版笔记下载地址:http://www.hainiubl.com/topics/76349
本课程中使用的海汼部落实验室大数据实操云平台使用教程:https://www.bilibili.com/video/BV12W4y1p7Fr
本帖已被设为精华帖!