mr自定义partitioner均衡key分布，或使用distributecache来mapjoin
hive在group和join的时候容易倾斜，随即key前缀或局部聚合再次聚合
hbase分析rowkey分布，再预分region

去maven官方资源库上找找，这不叫集成吧，比如你安cdh的hadoop，还得再安cdh的hbase，cdh只是给你修正了一些社区版的bug和解决版本兼容的问题。你要是想要集成安装这些东西可以使用CM来傻瓜式安装。

solr可以分布式所以这个数据量是没有问题的，但是高并发情况下速度可能会比较慢。

你们是不是要做企查查或者天眼查那些东西？这种数据可以给金融服务做企业授信时使用。

toRDD之后用map算子就可以啊

@tedxianfq 这个代码有点多，五月份我会上传这部分视频和代码。

@正在探索的小白瑶 666

你创建的topic是wordsendertest。但是你启动的消费指定的topic是wordsender，所以指定收不到数据啊

报什么错？印象中要给一个空的用户名和密码

好的我发给你

/**
 * 通用工具类
 * 
 * @author   青牛
 * @Date     2017年9月1日   
 */
public class Utils {

    /**
     * 判断是否为空，支持字符串、map、集合、数组和其它对象
     * 
     * @param obj               判断的对象
     * @return                  为空返回True，不为空返回False
     */
    public static boolean isEmpty(Object obj){
        if(obj == null){
            return true;
        }else if (obj instanceof String){
            return "".equals(String.valueOf(obj).trim());
        }else if (obj instanceof Map<?,?>){
            return ((Map<?,?>) obj).isEmpty();
        }else if (obj instanceof Collection<?>){
            return ((Collection<?>) obj).isEmpty();
        }else if (obj.getClass().isArray()){
            return Array.getLength(obj) == 0;
        }
        return false;
    }

    /**
     * 判断是否为空，支持字符串、map、集合、数组和其它对象
     * 
     * @param obj               判断的对象
     * @return                  为空返回False，不为空返回True
     */
    public static boolean isNotEmpty(Object obj){
        return !isEmpty(obj);
    }

}

@tedxianfq 这个是启动每个节点上的regionserver，daemons是启动每个节点的，daemon是启动一个节点的。所以根据你的需求使用带s还是不带s的。

@tedxianfq 你的master起来了吗？