你这上面是不是还有其它异常啊？都贴出来看看

@maxy 因为sortbykey在内部使用了RangePartitioner，所以会保证分区1小于分区2，以此类推

你那key是string所以按照字典序排列了，给他转成int的

datanode重新上报匹配的块信息了？

@luo6994658 任何可被执行的文件都是二进制的，但二进制文件不一定可被执行啊？比如一个视频文件也是二进制的，但是它并不能被直接执行，它需要一个播放器程序才能打开，这个播放器程序一定是二进制的。 whereis -b就是找这种播放器，而不是找这种视频文件。

@ling775000 报表平台有了吗？ETL是实时的？做数据产品啊，基于数据做用户属性挖掘啊，建各维度属性的用户特征表啊，还有数据仓储啊，还有提供实时查询啊，事多了去了，每一部分就够一堆人干的。ETL是整个数据流程最简单的。
当然有一些小公司只知道，ETL->数据仓储->报表。那只能说还没有能力认识到下一步怎么做，或者自己的业务还没有达到更深度使用数据的层度。

再补充一点，数据分析师做不了数据开发的工作，因为不会写程序，不懂复杂的数据系统怎么弄。而数据开发是能做数据分析的，因为写SQL、excel对个程序员来讲都是很简单的东西，只需要了解一些业务场景和行业知识便可以替代数据分析师的工具，但是没有开发转分析师的。
原因：1、熟练以后就变成重复性的工作，会有瓶颈期。2、工资较底。3、跳槽费劲，因为工作时间长了你值钱的地方只是你对某个行业的深入理解，所以你跳槽只能去同行业，这样面就小了很多。
所以一般都是数据分析师转成开发。
原因：1、工资想得到提升。2、因为长时间接触数据工作，对数据开发的流程感兴趣。3、不想变成只会用枪而不知道枪是怎么造出来的人。

数据分析是使用已有的数据结合某种大数据平台或工具（比如HIVE）再根据所处的行业或业务场景做出相应的数据报表或分析报告，比如某个游戏，数据分析师会做出什么年龄段的玩家喜欢什么样的人物设计这样的数据分析报告。或某个购物网站的数据分析师会做出相应的活动在某个地区什么样的物品有多少人进行购买。
刚才说数据分析师使用的数据、大数据平台、工具都是数据开发做的。当然数据开发提供的这些服务可以被很多地方使用，数据分析师只是使用这些服务的一类人。数据开发提供了什么样的数据，数据分析师才能做出什么纬度的分析结果，比如刚才说的数据种类：年龄段、地理位置。如果数据开发提供不了这些数据，那数据分析师也就无用武之地了。
数据分析师是依赖于数据开发生存的，没有子弹要枪何用？

@luo6994658 好的，已纠正

@hainiu4mark 以后启集群或安装大数据软件都要使用hadoop用户，避免再引起其它问题

spark有mllib mr有mahout

在每台机器上执行一下 chown -R hadoop:hadoop /usr/local/hadoop
@hainiu4mark

@hainiu4mark 虚拟机内存不够，或者队列资源不够，无法给你分配任务，你可以在mapred-site.xml里把mr任务和am使用的资源调小一点，或者把你的队列资源调大一点。当然调这些首先得是你的虚拟机资源够用，虚拟机内存调成2G吧

基于点击的数据量会比较大，建议使用大数据系统进行数据处理，比如用spark实现相似算法

你先安装一下openssl,mac安装方法https://blog.csdn.net/qyee16/article/details/72799852