cdh 它自己的 cm 是管理 am的， 我们是在am上搭建Hadoop集群，但只有一台，都集中在一台，需要多给内存和CPU，否则带不动
搭建单机cdh推荐配置:12G内存、CPU核数8核，磁盘：80G
全程root用户，配置好ssh免密，关闭安全和防火墙

tbls join colume 相关的表

写明白你的需求，如你要干什么？为什么需要这个技术，用这个技术达到什么效果，再完善下

先找最外层的sql关系，找到from后面的表名或select数据集，如果是select就继续找其from，直到找到表名为止

1 查看下service是否能连接到数据库，如果能连上，说明可以查询并返回数据信息
2 查看nginx是否有日志，如果日志能顺利输出，说明nginx没问题
3 查看tomcat的日志是否有报错信息，分析报错信息来解决

tomcat 重复启动，用root用户检查tomcat进程，并kill掉即可

咱们一直都在用hainiu队列，在调度器配置中也有配置

1）用Navicat 连接下数据库，看是否能连接成功
2）看报表对应的tomcat 日志是否启动成功
3）检查配置的连接是否正确

是 7.0/4, 不是 7.0/4.0 , 4 没有转成4.0

同学，执行时，先把7转成double，然后再除以4

创建avro表可以用schema文件创建，也可以用字段的方式创建，这种方式可以不用指定是schema

在windows本地创建localhost的hive
给该hive用户赋予数据库的所有权限

MySQL会忽略尾部空格， 所以比较都一样

spark 运行task之前，已经按照申请的资源开启了Executor，执行完再释放资源
每提交一次应用程序，会根据申请的资源来开启Executor，一般为了保证资源均衡，会一个worker开启一个Execuor,如果executor 多于worker，那会有一个worker开启多个executor情况。
如果一个worker5个G， 5个核，分配1G1核资源进行计算，该worker的其他资源就闲置，总结下来是用多少申请多少

查看是否在hbase-site. xml 中增加root path
可以在get Root Dir方法处打断点看看

1）先看看是把代码根目录添加到sys.path中
2）pip list 查看 是否安装 MySQL-python
3）查看数据库连接配置是否正确
4）用普通代码调用db_util.py 查询MySQL数据库，看是否能查询成功

@AIZero 我们归集日志，只是按照小时归集即可，不用管当前小时内的文件数据和目录的关系，因为数据处理出报表是按照每条记录的业务时间。

重点研究下taildir 源的使用 和 hdfs sink的使用， hdfs sink配置时，可以配置按照天，小时滚动生成日志，如：
a1.sinks.k1.hdfs.path = hdfs://ns1/user/hadoop/access/%Y/%m%d/%H
每个参数是干什么的，你可以参考flume官方文档
http://flume.apache.org/FlumeUserGuide.html#hdfs-sink