用 java 写 spark 的聚合函数格式是什么

问答 ⋅ 陌二狗 ⋅ 于 2017-12-23 15:27:44 ⋅ 最后回复由青牛于 2017-12-23 23:49:27 ⋅ 3814 阅读

用java写spark的聚合函数格式是什么啊，scala中这样写没错，java就不行了

file

回复数量: 9

青牛海汼部落创始人，80后程序员一枚，曾就职于金山，喜欢倒腾技术做产品
⋅ 2017-12-23 15:42:05

java的spark的api有function类，pair rdd对应的是function2
包地址
import org.apache.spark.api.java.function.Function;
import org.apache.spark.api.java.function.Function2;
社区里的spark教程都是用java写的
http://hainiubl.com/topics/202
陌二狗
⋅ 2017-12-23 15:51:08

@青牛都导入了，但是写这个函数的格式不对啊
青牛海汼部落创始人，80后程序员一枚，曾就职于金山，喜欢倒腾技术做产品
⋅ 2017-12-23 15:53:35

@陌二狗方法后面要给，有几个泛型，规定返回值和传入值，去看一下教程的例子
陌二狗
⋅ 2017-12-23 16:01:23

@青牛不是啊，亲，我这是对DataFrame调用聚合函数，难道我要把他转换成rdd在用吗
青牛海汼部落创始人，80后程序员一枚，曾就职于金山，喜欢倒腾技术做产品
⋅ 2017-12-23 16:16:47

@陌二狗你有代码写错了，前面的单引号放到id后面
陌二狗
⋅ 2017-12-23 23:38:58

@青牛我去看了一下源码，结果是这样的，他要导入一个静态包，然后按照他的要求写就行了
青牛海汼部落创始人，80后程序员一枚，曾就职于金山，喜欢倒腾技术做产品
⋅ 2017-12-23 23:44:19

@陌二狗有进步啊，都能看源码了
陌二狗
⋅ 2017-12-23 23:47:22

@青牛本来一个高富帅，自从写了代码，直接变屌丝

请注意单词拼写，以及中英文排版，参考此页
支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
支持表情，可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif，教程
发布框支持本地存储功能，会在内容变更时保存，「提交」按钮点击时清空

Ctrl+Enter