@q2488433945 比如可以获得，企业投资人的信息，企业的经营分类，归纳出那些投资机构对那种经营范围感兴趣，然后提供给创业者做寻找投资机构的意见。

@大中 使用资源，比如内存、硬盘。

mr自定义partitioner均衡key分布，或使用distributecache来mapjoin
hive在group和join的时候容易倾斜，随即key前缀或局部聚合再次聚合
hbase分析rowkey分布，再预分region

去maven官方资源库上找找，这不叫集成吧，比如你安cdh的hadoop，还得再安cdh的hbase，cdh只是给你修正了一些社区版的bug和解决版本兼容的问题。你要是想要集成安装这些东西可以使用CM来傻瓜式安装。

solr可以分布式所以这个数据量是没有问题的，但是高并发情况下速度可能会比较慢。

你们是不是要做企查查或者天眼查那些东西？这种数据可以给金融服务做企业授信时使用。

mark

mark

toRDD之后用map算子就可以啊

@tedxianfq 这个代码有点多，五月份我会上传这部分视频和代码。

报没找到文件异常，把你的py脚本传到你要跑的那台机器上并指定正确的py文件地址

@正在探索的小白瑶 666

你创建的topic是wordsendertest。但是你启动的消费指定的topic是wordsender，所以指定收不到数据啊

报什么错？印象中要给一个空的用户名和密码

好的我发给你

/**
 * 通用工具类
 * 
 * @author   青牛
 * @Date     2017年9月1日   
 */
public class Utils {

    /**
     * 判断是否为空，支持字符串、map、集合、数组和其它对象
     * 
     * @param obj               判断的对象
     * @return                  为空返回True，不为空返回False
     */
    public static boolean isEmpty(Object obj){
        if(obj == null){
            return true;
        }else if (obj instanceof String){
            return "".equals(String.valueOf(obj).trim());
        }else if (obj instanceof Map<?,?>){
            return ((Map<?,?>) obj).isEmpty();
        }else if (obj instanceof Collection<?>){
            return ((Collection<?>) obj).isEmpty();
        }else if (obj.getClass().isArray()){
            return Array.getLength(obj) == 0;
        }
        return false;
    }

    /**
     * 判断是否为空，支持字符串、map、集合、数组和其它对象
     * 
     * @param obj               判断的对象
     * @return                  为空返回False，不为空返回True
     */
    public static boolean isNotEmpty(Object obj){
        return !isEmpty(obj);
    }

}