Toggle navigation
首页
社区
公告
教程
下载
分享
问答
云平台
登 录
注册
spark 中 driver 参与数据加载吗?
问答
⋅
小龙
⋅ 于
2019-08-05 17:03:37
⋅ 最后回复由
青牛
于
2019-08-05 17:33:18
⋅ 2628 阅读
比如说加载kafka数据,是每个executor各自加载一部分还是driver加载之后发送给executor?
×
添加附言
附加内容, 使用此功能的话, 会给所有参加过讨论的人发送提醒.
点赞
成为第一个点赞的人吧
回复数量:
1
青牛
海汼部落创始人,80后程序员一枚,曾就职于金山,喜欢倒腾技术做产品
#1
⋅
2019-08-05 17:33:17
driver一般不参与 除非你在driver有计算
暂无评论~~
请注意单词拼写,以及中英文排版,
参考此页
支持 Markdown 格式,
**粗体**
、~~删除线~~、
`单行代码`
, 更多语法请见这里
Markdown 语法
支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right:
表情列表
:star: :sparkles:
上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,
教程
发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
登 录
注册
Ctrl+Enter
spark 中 driver 参与数据加载吗? - 海汼部落 #大数据# @海汼部落
新 建 话 题
作者:小龙
小龙 的其他话题
在哪里能下载到 HDFS 审计日志数据集?
在 jupyter 中多进程 为什么运行了没反应?
spark 中 driver 参与数据加载吗?
java 方法返回值疑问?
java 如何设计程序?
我把 MySQL 数据备份了,然后在重新修改表结构,备份里数据会变吗?
怎么在 R 里面创建一个空的 tibble 或者 data.frame ?
airflow 定义 task 调度 spark 离线任务(YARN),有没有办法获取 spark 任务的执行状态?
分类下其他主题
现在问不了问题?
请问 hadoop 组件中的 hadoop 是安装在 /opt 下还是 /usr/local 下?
HDFS 动态增加节点每次都要重启实验才行是为什么?
MR 任务将数据写入 ORC 文件中,数据采用竖杠(|)进行分割,这个数据分割怎么设置??希望大牛解答谢谢!!
为什么 hive 初始化 MySQL 出错?
为什么安装 datanode 出错?
hadoop 为什么我没有在 public 下面找到 jdk 安装包?
flink 的 standalone 模式部署后,Web 界面上,显示 taskmanager:0,total task slots:0,请问这个是怎么回事呢?
随机推荐话题
公开课回放
[公告] 海汼部落新人必看帖
[公告] 海汼部落云平台使用教程
[公告] 海汼部落云平台如何保存实操进度(镜像功能)
[公告] 海汼部落云平台资源价格
QQ群1:551936262
关注海汼部落技术社区