hive查询一个2亿数据的表，非常慢，有什么办法设置查询？
我在hive中设置了set mapred.reduce.tasks = 1000;但是感觉还是慢，可能比之前慢，但是我不知道改动之前设置的是多少，有什么命令看到之前设置的？我想还原设置。
还是当前用户设置了这个大小对别的用户没影响，请大神指点迷津。
hive 查询一个 2 亿数据的表，非常慢，有什么办法设置查询？
成为第一个点赞的人吧 
回复数量: 3
-
对别人没有影响，这个只影响你自己的hive，你重新进hive这个mapred.reduce.tasks设置就失效了。set属于临时的设置，只在当前session中有效。
用set mapred.reduce.tasks;可以看到之前的配置
非常慢的原因可能由于数据倾斜了，你看一下是不是有的reduce跑的非常快，shuffle的数据量很大。这个得需要你自己分析一下数据的情况 -
@青牛 我想借问一下这个mr里面的task任务数一般为多少呢？
-
@ling775000 这个要根据自己的集群情况去定，集群资源不够设置太多反而跑不完。设置成合理运用集群的资源就可以了
作者：歌唱祖国
不要跟过去的自己比，要期待未来的自己，珍爱现在的自己。
- 公司
- 城市
歌唱祖国 的其他话题
- yarn 命令查看同一名字的 application 运行历史？
- 请问如何用 spark 读取 sftp 的数据，并且更新它？
- spark-submit 模式 yarn-cluster 部署，日志如何配置？
- phoenix 怎么做时间加减？类似于 MySQL 里面的 interval 1 day
- Phoenix 加盐表，sqoop 导入数据到 HBase 该表，数据是否可以自动加盐？
- 使用 Phoenix 做用户标签效率如何？可以满足这种需求吗？
- 如何配置 hue 的 Web ui 用 https 协议访问，还有 50070 等端口对应的 Web ui 的访问用 https 协议访问？
- Spark2.x 之 SparkSql 读取 MySQL 数据中 Decimal 类型如何读取？
分类下其他主题
QQ群1：551936262
关注海牛部落大数据技术社区
