【详述】查询hive外表信息,select count(distinct member_id) as cnt, dt from dm.dm_update_d where dt = ‘20250904’ group by dt,无法执行出结果,看执行计划和监控,只使用了一个节点资源,是什么原因,感谢解答
【StarRocks版本】3.4.4
【执行计划】:tmp22.profile (63.9 KB)
【explain cost】explain.txt (1.9 KB)
慢在AGGREGATE DISTINCT尝试放大一些下面参数试试
parallel_fragment_exec_instance_num=20
试了一下,还是跑不出来,其他量级的表没有这个问题,10秒内就能跑出来了,就一个表有这个问题,看着像是计算倾斜了
正常的执行计划:
错误的执行计划:
按这边说的加了[skew]查询提示,10来秒就执行出来了,set enable_distinct_column_bucketization = true;不生效,这个是bug么,还是希望通过调参解决倾斜问题,不改sql