io异常，目录没有权限？或者目录没建？

亲，代码贴全店

@ling775000 数据监控自己做程序写指标，简单点就是监控数据的大小，复杂的监控字段变量和详情，根据自己业务定。
集群监控用Ganglia，cdhmanager有集成

:smile:

@歌唱祖国 那就去元库里看看表还在不。你没执行过drop操作表是不会丢的，hive检查还是挺严格的外部表有分区drop也会失败的，所以一般元数据是不会丢的除非特意的人为。你这个就是连接元库的问题。不行就看一下hive的日志

@ling775000 你说的大数据监控是数据的监控还是集群服务器的监控？

sqoop抽取过来的数据是放到NameNode还是DataNode上呢？
答：放到hdfs上就是放到datanode，namenode不存数据，也不要在上面进行不必要的操作，去操作机上执行任务命令。
抽取过来的数据有Java文件，编译文件和jar包。上传哪个到hdfs上呢？
答：你这是啥数据干啥用的，没看懂
sqoop抽取mysql数据库中表指定到hive中，可以在hive数据库看见这张表吗？
答：你都到指定的HIVE表中了，那就说明你在 hive中已经有这张表了，那就指定能看见呗
上传文件到hdfs上一般是收到上传还是编写shell脚本批量上传呢？
答：批量上传，不要一条一条append到hdfs
在开发过程中，sqoop抽取数据的命令是Java代码中执行还是必需要命令行输入执行呢？
答：根据你自己的需要那种都可以，命令行比较方便。

用kafka做两个的对接吧，让spark从kafka中拿数据，然后自己就会分发到不同的executor执行

你hadoop的本地开发环境没有搭建好，先把winutils安装好，好能让windows上使用hadoop的native library
教程：http://hainiubl.com/topics/88

你说集群服务器监控工具吗？cdhmanager也有这功能。

@足迹 你在mapred-site.xml里面设置一个mr任务使用的classpath
这个参数 mapreduce.application.classpath

配置你的hiveclient连接有元数据的mysql数据库就行了

@ling775000 人家那意思就是统计数据规模和字段详情吧，这个是需要统计的，然后同比环比进行对比

@歌唱祖国 数据是放在hdfs上，元数据是存储在mysql中，没有元数据信息就查不了hdfs上的数据