总所周知，yarn是一个资源调度器，能够让各种计算框架运行在之上，例如spark，mapreduce. 那么问题就来了，就拿spark来举例，spark是如何和yarn结合的，将用户开发的程序放到yarn上运行的。这里我不是问yarn-client提交的流程哈， 我是想表达，例如AM，spark是如何去初始化的，什么时候去初始化的。 客户端的代码一般都是通过初始化SparkContext进而初始化spark应用，但是初始化之后又做了些什么事情呢？还有就是，如果我自己要些一个计算框架放到yarn上运行， 需要实现哪些东西？ 这些东西都是yarn提供么？ 最开始我以为ApplicationMaster是一个yarn的接口，各个系统都需要实现这个接口的，但是貌似我找了下也没找到这个接口。 不知道问题有没有描述清楚， 请各位大神解答，谢谢。
spark 如何和 yarn 结合的？
成为第一个点赞的人吧 
回复数量: 1
-
主要的流程是这样的：
（1） Client端启动应用程序，提交APP到YARN RM
（2）RM收到请求之后， 就会在集群中随机选择一个NM， 为该应用程序分配第一个Container， 然后在这个Container上启动AM，AM则实现了SC等的初始化
（3）AM启动时会向RM注册，并向RM申请资源
（4）AM一旦申请到资源也就是Container之后， 会在对应的Container（Container信息里面会包含NM节点信息）启动Executor
（5）AM的SC会分配任务及给Executor进行执行(之前Executor会去向AM中的SC注册）， 同时Executor会向AM汇报运行的状态和进度，也就是上面绿色的通信
（6）AM向RM注册之后， AM会定时向RM汇报程序的运行状态等信息，也就是上面红色部分的通信。Driver运行在AM中，也就是SC与Executor的所有通信操作都与Client无关了， 在提交完应用程序之后，Client就可以离开了
作者：镜花水月
镜花水月 的其他话题
分类下其他主题
- 现在问不了问题？
- 请问 hadoop 组件中的 hadoop 是安装在 /opt 下还是 /usr/local 下？
- HDFS 动态增加节点每次都要重启实验才行是为什么？
- MR 任务将数据写入 ORC 文件中，数据采用竖杠（|）进行分割，这个数据分割怎么设置？？希望大牛解答谢谢！！
- 为什么 hive 初始化 MySQL 出错？
- 为什么安装 datanode 出错？
- hadoop 为什么我没有在 public 下面找到 jdk 安装包？
- flink 的 standalone 模式部署后，Web 界面上，显示 taskmanager：0，total task slots：0，请问这个是怎么回事呢？
QQ群1：551936262
关注海汼部落技术社区
