数据分析是使用已有的数据结合某种大数据平台或工具（比如HIVE）再根据所处的行业或业务场景做出相应的数据报表或分析报告，比如某个游戏，数据分析师会做出什么年龄段的玩家喜欢什么样的人物设计这样的数据分析报告。或某个购物网站的数据分析师会做出相应的活动在某个地区什么样的物品有多少人进行购买。
刚才说数据分析师使用的数据、大数据平台、工具都是数据开发做的。当然数据开发提供的这些服务可以被很多地方使用，数据分析师只是使用这些服务的一类人。数据开发提供了什么样的数据，数据分析师才能做出什么纬度的分析结果，比如刚才说的数据种类：年龄段、地理位置。如果数据开发提供不了这些数据，那数据分析师也就无用武之地了。
数据分析师是依赖于数据开发生存的，没有子弹要枪何用？

@luo6994658 好的，已纠正

@hainiu4mark 以后启集群或安装大数据软件都要使用hadoop用户，避免再引起其它问题

spark有mllib mr有mahout

在每台机器上执行一下 chown -R hadoop:hadoop /usr/local/hadoop
@hainiu4mark

@hainiu4mark 虚拟机内存不够，或者队列资源不够，无法给你分配任务，你可以在mapred-site.xml里把mr任务和am使用的资源调小一点，或者把你的队列资源调大一点。当然调这些首先得是你的虚拟机资源够用，虚拟机内存调成2G吧

基于点击的数据量会比较大，建议使用大数据系统进行数据处理，比如用spark实现相似算法

你先安装一下openssl,mac安装方法https://blog.csdn.net/qyee16/article/details/72799852

@韦晓阳 hue就可以做吧

简单点说就是代码被循环了多少次

可不可以弄个程序获取yarn上SQL类的任务信息

@hainiu4mark 把后面的命令加上引号再试试，比如这样子ssh_root.sh "tar -xzf /tmp/hadoop-2.7.3.tar.gz -C /usr/local/"，另外你那个exe.sh的脚本是这个样子吗？

cmd=$*

su -<<EOF
$cmd

EOF

@hainiu4mark 你是用什么用户启动的hadoop，看一下/usr/local/hadoop这个目录的权限所属用户

etl增量跑，业务数据指定范围跑，全量跑会大量占用集群资源容易挨揍，所以hive一般开启严格检验模式sql不指定分区会报错。

@hainiu4mark 主机到每台机器的ssh免密配置好了吗？还有每台机器的wheel组设置成功了吗？