Hive的单分区量级5亿条左右,使用Spark的ThriftServer执行SQL
SELECT * FROM table_name WHERE `date` = '2023-10-02' AND `when`> 1696176000 AND `when` < 1696262340 AND pre_id > 10000 order by `when` desc limit 500
因为想做分页查询,排序使得查询效率相当慢,不知道大神有没有优化的好办法?
Hive的单分区量级5亿条左右,使用Spark的ThriftServer执行SQL
SELECT * FROM table_name WHERE `date` = '2023-10-02' AND `when`> 1696176000 AND `when` < 1696262340 AND pre_id > 10000 order by `when` desc limit 500
因为想做分页查询,排序使得查询效率相当慢,不知道大神有没有优化的好办法?
简单
使用kyuubi替换hiveserver2
@123456789987654321 谢谢,我去研究一下