@青牛 是不是sqoop在导表的时候用的是mysqldump会锁表吗，是不是要给这个用户更高的权限而不是仅仅只读权限

学习

@青牛 我在beeline上面对一个组设置权限，但是我不知道用户有没进了组，hive上不能做用户的创建和组的创建吧，对用户权限设置是设置Linux上面的用户对hive的权限吗，账号是用openldap和Kerberos管理的。在hue上使用的是openldap还是Kerberos的用户呢?

@青牛 你这样子设置的offset消费完怎么提交，我的意思是想在消费的时候记录它的offset，等到将数据计算完才把offset提交上去，下一个批次处理的时候不会出现重复消费的现象。该怎么写？

@青牛 实际的需求是一直实时地消费kafka的数据，放入到每天的目录下，但是会做一个数据判断，追加到该天的数据目录下。现在发现写入hdfs的效率很低，每秒大概插入了7-8条数据，太慢了。把每条数据转成字节流，hdfs的输入流写入hdfs。有没什么好的建议，提升一下效率。大神指点一下。

@初夏之音 还有一种可能，是/etc/hosts上面没有配置好host映射

@青牛

@青牛

![Uploading file...]()

具体用的是哪个方法呢？

@ling775000 数据量大的话还是用大数据的工具来清洗好一点，sqoop用的比较多的是将关系型数据库的数据导入到非关系型的数据库。hive里面做清洗的话首先还是要数据先入库吧，就算是外部表的话，数据的schema还是要一致才行。况且hive还不能做太复杂的逻辑。在数据入库这方面kettle里面有很多的组件，只需要灵活运用就好了。我现在用最多的是通过talend将excel里面的数据导入到数据库，再通过逻辑将数据分层。

kettle国内常用的ETL工具，ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库．在企业中常用来做一些抽取excel文件数据导入数据库，在数据库中关联其他表之类的做一些转换操作。基本ｓｑｌ能做的，它都能做，还能设置一些定时的任务去跑，ETL一般属于数据仓库这个方向。

@青牛 正常的，在running

学习