上传的过程中当然不能移动了，不过可以使用flume直接读access日志，然后flume自己实现文件小时切分，这样就不用接住crontab了，你可以问一下潘老师。
公司集群使用flume，以后脚本的方式指定要抛弃。
不同的数据源，可以配置不同的flume-agent实现。
其实你问这3个问题都能用flume解决

pycharm是管理员模式打开的吗？

不存在你说的第二种方案，ODS层是直接上传就完事了。用hive和mr都可以到ETL从ODS到DWD。hive做脏数据统计麻烦，mr可以用counter做脏数据统计。写mr的方式好，这样可以既出数据又做了脏数据统计。

复杂的字段格式转换现有函数不能完成时需要自己定制一个udf，hive大小表join满足条件自动的优化成semijoin所以不用特意写个udf。

@徐浩洲 和你的DNS一样，老师是这么设置的吗？GATEWAY怎么能和IP一样，是不是自个马虎了？

改不改无所谓，不改就是这个“10.211.55”IP段，你这个不好使应该是GATEWAY没有设置正确

这个没有，你们这里设置了吗？自己指定IP段

重启PD试试

@wwwzhangnanwc 新的vm虚拟机nat网络和以前设置一样就没啥问题，不过vm卸载重装的过程中可能会出现一些未知问题，可能是老的vm没卸载干净导致的。

这不是一个便捷的功能吗？你跟这做对啥，你应该选择去适应它。:smile:

@wwwzhangnanwc 你虚拟机在，就重装一个vm

是不是杀毒软件把你vm的文件干没了？

主动分析源码，打赏10元。
建议：文章中最后一步看到的是运行了yarn的appMaster，运行mapTask的流程应该是client上到jar包到HDFS，运行maptask的节点从HDFS下载jar包，然后在节点运行的mapTask去主动联系appMaster，所以后续应该再去看一下mapTask的代码。

@许诺 原来进不去，应该是linux找不到你的挂载设备了，而你这个设备本来就没啥用，所以删除iso文件的挂载点没有任务影响。