spark 的问题?

问答 ⋅ 陌上花开 ⋅ 于 2018-01-24 19:47:04 ⋅ 最后回复由 陌上花开 于 2018-01-25 15:26:23 ⋅ 2884 阅读

file
file
file
file
file
1.user表和invitation可以join,join的结果和activity没有可以关联的字段,除了cartesian,还有别的方法可以将他们关联到一起吗?
2.userActivity中if判断不生效,或者我使用filter会将所有数据过滤掉(条件应该没有错)?
3.file
通过getRow拿到的rowkey写进mysql中是地址,这个问题怎么解决?

点赞
成为第一个点赞的人吧 :bowtie:
回复数量: 6
  • 青牛
    青牛 国内首批大数据从业者，就职于金山，担任大数据团队核心研发工程师
    ⋅ 2018-01-25 12:13:20

    你保存的是地址，可能是由于你这段代码的原因

    file

    你这么写是不会生效的，过滤要用filter

    file

    你用的是cartesian，是笛卡尔集，你确定要这么关联吗？还是只关联必要的，当然这个cartesian不会产生shuffle，但是会产生很大的数据集

  • 陌上花开
    陌上花开
    ⋅ 2018-01-25 12:24:26

    @青牛 关联的这两张表没有关联字段,目前所需要用分别在两张表中的字段进行判断,目前这个功能我只知道笛卡尔积,还有别的方法吗?

  • 青牛
    青牛 国内首批大数据从业者，就职于金山，担任大数据团队核心研发工程师
    ⋅ 2018-01-25 13:56:44

    @陌上花开 是把不相关的两行拼接到一起吗？

  • 陌上花开
    陌上花开
    ⋅ 2018-01-25 13:57:54

    @青牛 是的

  • 青牛
    青牛 国内首批大数据从业者，就职于金山，担任大数据团队核心研发工程师
    ⋅ 2018-01-25 15:24:25

    @陌上花开 好奇葩的需求哦，我角得还可以自己写RDD弄个相同的自定义key，然后拼接循环输出，嘿嘿，还不如你这个方便呢

  • 陌上花开
    陌上花开
    ⋅ 2018-01-25 15:26:23

    @青牛 我用笛卡尔积 把这个解决了 就是稍微麻烦了点

暂无评论~~
  • 请注意单词拼写，以及中英文排版，参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情，可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif，教程
  • 发布框支持本地存储功能，会在内容变更时保存，「提交」按钮点击时清空
Ctrl+Enter
新 建 话 题

作者：陌上花开

陌上花开 的其他话题

分类下其他主题

随机推荐话题

QQ群1：551936262 海牛大数据QQ群1

关注海牛部落大数据技术社区