java的spark的api有function类，pair rdd对应的是function2
包地址
import org.apache.spark.api.java.function.Function;
import org.apache.spark.api.java.function.Function2;
社区里的spark教程都是用java写的
http://hainiubl.com/topics/202

你的需求是宽列存储，所以用hbase比较合适，对数据的分析用SQL形式的比较多，hbase的数据存储在hdfs上所以可以读取底层的hfile文件转生hive用的文件就可以实现SQL查询了，所以用数据量大又是宽表结构就用hbase吧
当然hbase还有impala的解决方案

@姚明臣 hive存储用的是hdfs，所以你必须要保证你的hdfs没问题的基础上再去弄hive

看异常是你的datanode报错了，没有正在运行的datanode，或者你的文件副本数配置大于datanode的节点数也会报类似的异常

你要先启动hive的metastore服务，或者你的配置文件 hive-site.xml 里去掉metastore的连接信息，让hive的client直接连接mysql。
你可以参考这个帖子：http://hainiubl.com/topics/103

@JeeLearner 亲，那里不明白的可以去问答区提问

@healcool 我能刚到的办法就是把DataFrame转成rdd，然后在map里转一下吧

比如select cust_id as id from jr_data.test2_1_1 t limit 5

用python加上docker也能达到分布式计算的效果，但是需要自己解决的问题相比于hadoop和spark系列要麻烦的多，比如怎么对文件的均衡切分，怎么聚合相同的key值，怎么对数据进行join操作等。另外除了写程序spark和hadoop系列还能使用sql的形式对大数据进行计算。

你的二次排序少点东西，你可以参考这里
http://hainiubl.com/topics/97?

这个CompareTo不是决定是否是升序的，它是用于比较对象的，你这里是用于二次排序的比较，至于为什么升序，shuffle到reducer过程默认就是升序的。那问题来了升降序是由什么决定的呢？可以自己实现一个比较器来决定（不实现也会默认有一个，就是默认升序那个）到reducer中的key是升序还是降序。

@HiHadoop 在map排序只能使用集合对象，会用到大量堆内存，而且数据量多会生成多个map进行并行化处理，所以即使能排序也只是拿的数据的局部排序，所以你的需求一个任务做，也只适应小于一个block块的数据。搞的是大数据不能这么想。

HOHO

@HiHadoop 太忙了，平时没时间上QQ

@HiHadoop reducer里面放一个list，然后在cleanup里输出