可以通过hiveserver2提供的JDBC服务来连接HIVE，然后发起查询，查询结果可以能过sqoop或者以文件的形式，直接导入mysql

为啥不用分布式计算比如spark?

@魏超 查记录拿出里面的列名

hbase是宽列结构，列名是插入时确定好的，不在表的结构描述中。所以你得把这行的所有记录查询出来才能拿到这行的所有列名。

可以通过http接口往kafka放数据

使用updateState记录对象状态，以用来判断新老数据，参看这里的http://www.hainiubl.com/topics/197例子 updateStateByKey_last_update

对象数是小文件数乘以batchSize了吧，也就是10万乘以1000了个对象了吧

@陌上花开 scan对象的cache方法

@追求87卓越 在于用，而不是在于背

你这个是全表扫描吧，你指定范围去读呗，指定好family和一次从服务端拿取的数据条数，还有不使用服务端缓存

@魏超 你看看项目中是不是有其它的包冲突

你用的spark-sql和spark-hive版本是不是不一致了？

@luo6994658 功能一样，只是一个指向绝对路径，一个指向相对路径

用hbase吧。对于你这样的数据需求可以分family存储。

这里是官方的下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
你可以根据你的电脑是32位或者64位的下载指定的版本进行安装