@ling775000 报表平台有了吗？ETL是实时的？做数据产品啊，基于数据做用户属性挖掘啊，建各维度属性的用户特征表啊，还有数据仓储啊，还有提供实时查询啊，事多了去了，每一部分就够一堆人干的。ETL是整个数据流程最简单的。
当然有一些小公司只知道，ETL->数据仓储->报表。那只能说还没有能力认识到下一步怎么做，或者自己的业务还没有达到更深度使用数据的层度。

再补充一点，数据分析师做不了数据开发的工作，因为不会写程序，不懂复杂的数据系统怎么弄。而数据开发是能做数据分析的，因为写SQL、excel对个程序员来讲都是很简单的东西，只需要了解一些业务场景和行业知识便可以替代数据分析师的工具，但是没有开发转分析师的。
原因：1、熟练以后就变成重复性的工作，会有瓶颈期。2、工资较底。3、跳槽费劲，因为工作时间长了你值钱的地方只是你对某个行业的深入理解，所以你跳槽只能去同行业，这样面就小了很多。
所以一般都是数据分析师转成开发。
原因：1、工资想得到提升。2、因为长时间接触数据工作，对数据开发的流程感兴趣。3、不想变成只会用枪而不知道枪是怎么造出来的人。

数据分析是使用已有的数据结合某种大数据平台或工具（比如HIVE）再根据所处的行业或业务场景做出相应的数据报表或分析报告，比如某个游戏，数据分析师会做出什么年龄段的玩家喜欢什么样的人物设计这样的数据分析报告。或某个购物网站的数据分析师会做出相应的活动在某个地区什么样的物品有多少人进行购买。
刚才说数据分析师使用的数据、大数据平台、工具都是数据开发做的。当然数据开发提供的这些服务可以被很多地方使用，数据分析师只是使用这些服务的一类人。数据开发提供了什么样的数据，数据分析师才能做出什么纬度的分析结果，比如刚才说的数据种类：年龄段、地理位置。如果数据开发提供不了这些数据，那数据分析师也就无用武之地了。
数据分析师是依赖于数据开发生存的，没有子弹要枪何用？

@luo6994658 好的，已纠正

@hainiu4mark 以后启集群或安装大数据软件都要使用hadoop用户，避免再引起其它问题

spark有mllib mr有mahout

在每台机器上执行一下 chown -R hadoop:hadoop /usr/local/hadoop
@hainiu4mark

@hainiu4mark 虚拟机内存不够，或者队列资源不够，无法给你分配任务，你可以在mapred-site.xml里把mr任务和am使用的资源调小一点，或者把你的队列资源调大一点。当然调这些首先得是你的虚拟机资源够用，虚拟机内存调成2G吧

基于点击的数据量会比较大，建议使用大数据系统进行数据处理，比如用spark实现相似算法

你先安装一下openssl,mac安装方法https://blog.csdn.net/qyee16/article/details/72799852

@韦晓阳 hue就可以做吧

简单点说就是代码被循环了多少次

可不可以弄个程序获取yarn上SQL类的任务信息

@hainiu4mark 把后面的命令加上引号再试试，比如这样子ssh_root.sh "tar -xzf /tmp/hadoop-2.7.3.tar.gz -C /usr/local/"，另外你那个exe.sh的脚本是这个样子吗？

cmd=$*

su -<<EOF
$cmd

EOF

@hainiu4mark 你是用什么用户启动的hadoop，看一下/usr/local/hadoop这个目录的权限所属用户