spark 写入 Elasticsearch 丢失数据的问题？

问答 ⋅ wzyaizx1314 ⋅ 于 2021-04-21 09:20:42 ⋅ 最后回复由青牛于 2021-04-28 15:54:35 ⋅ 2190 阅读

使用官方的 elasticsearch-hadoop往es中导入数据，数据量大的时候，spark写入es会丢失一些数据，为什么？

回复数量: 7

青牛海汼部落创始人，80后程序员一枚，曾就职于金山，喜欢倒腾技术做产品
⋅ 2021-04-21 09:55:39

中间要是没报错，那可能就是你程序的问题
wzyaizx1314
⋅ 2021-04-21 11:13:20

@青牛何老师能不能看下代码.....哪里出了问题.....中间也没报错。截图有点模糊......
青牛海汼部落创始人，80后程序员一枚，曾就职于金山，喜欢倒腾技术做产品
⋅ 2021-04-26 09:25:57

@wzyaizx1314 没看出啥毛病啊
wzyaizx1314
⋅ 2021-04-26 10:10:35

@青牛不知道哪里出的问题。想单独把hbase的数据都拿出来分析下，结果也报错了....这个是为啥
青牛海汼部落创始人，80后程序员一枚，曾就职于金山，喜欢倒腾技术做产品
⋅ 2021-04-26 10:19:47

@wzyaizx1314 你开发环境好像有问题，native库没有
wzyaizx1314
⋅ 2021-04-28 15:45:38

@青牛环境问题解决了， spark任务总是生成_temporary/0 这种目录跑着就自动结束了，yarn上显示成功，是为啥

青牛海汼部落创始人，80后程序员一枚，曾就职于金山，喜欢倒腾技术做产品
⋅ 2021-04-28 15:54:35

@wzyaizx1314 生成临时目录正常，是不是你的driver挂了？

请注意单词拼写，以及中英文排版，参考此页
支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
支持表情，可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif，教程
发布框支持本地存储功能，会在内容变更时保存，「提交」按钮点击时清空

Ctrl+Enter