联网环境下# yum install python-pip gcc gcc-c++ python-virtualenv cyrus-sasl-devel

SequenceFileOutputFormat.setOutputCompressionType(job, SequenceFile.CompressionType.BLOCK);
试试

最终目的是为了装c++吗 还是装python的包？

@歌唱祖国 去具体计算节点上看一下yarn的日志

一般的方法是检查上游数据是否有积压，还有是看storm进程在不在

createTempView是个逻辑概念，你可以理解为一个视图，这个视图可以屏蔽底层具体的sql语句，注册了以后直接操作datas就相当于直接执行sql了

问题描述是找不到这个类，如果classpath下有这个类的包，那很有可能就是包冲突导致的，解决方法就是删除包，你可以把冲突的几个包都删了，然后一个一个加进来看加入哪个包以后错误消失就可以了

1、集群总内存计算(executor个数) * (SPARK_EXECUTOR_MEMORY+ spark.yarn.executor.memoryOverhead)+(SPARK_DRIVER_MEMORY+spark.yarn.driver.memoryOverhead)
所以要综合考虑下，这个要一点一点试，没有比较好的参考 cdh官方的默认值已经是很科学的了 但是不同集群的job大小不一样，没法通用，因为可能你把这个job调好了 其他job也会报错，所以尽量优化job中的代码，使代码不要出现内存使用过多比较好
2、调整参数在submit时候
--conf spark.yarn.executor.memoryOverhead=2048 这种方法设置 不要用环境变量的方法

@歌唱祖国 进度不走不代表map没运行，去看一下map的Log，看看有没有日志再打印就知道是不是正在运行

一般map不动都是数据不均衡导致的，分区表的本质就是不同的文件目录，所以我觉得你直接把原始数据搞到分区表就行了，不用压缩，
CREATE TABLE AAA (

nameSTRING，

id STRING

)

PARTITIONED BY (month)

ROW FORMAT DELIMITED FIELDS TERMINATED BY'\t';

Insert overwritetable AAA(month=’2016-06’)

Select ...

1、集群的资源利用率和配置有关更和运行的job的类型和数据量有关
2、理论上一个datanode可以有多个container
3、要看运行的job
4、假如我每次提交1000个job 也需要一个一个配置吗

一般这种情况下类不能解析 就是加载不出来类的问题 第一时间想到包的错误