【详述】sql查询过慢,请教profile是否可以优化提升性能
【背景】一张25亿的表,按天分区,每天500w的量,手动去查有時候要10s左右,求帮忙看下有没有优化的建议哈
【业务影响】
【StarRocks版本】例如:2.3
【集群规模】例如:3fe+3be(fe与be混部)
【机器信息】CPU虚拟核/内存/网卡,例如:40C/128G/千兆
【附件】
explain.txt (3.4 KB) profile.html (28.7 KB) 建表语句.txt (28.4 KB)
看你的profile主要耗时是在scan层,检查一下你这个表是不是有数据倾斜
evt_norm_acc_entr 这个表
你好
方便设置
set global enable_pipeline_engine = false;
set global parallel_fragment_exec_instance_num = 20;
重新跑下么?
没有数据倾斜合适的键呢,这是建了两种不同的分区,第二种更慢一些,我是要查全表的_show_PARTITIONs_from_evt_norm_acc_entr__202211251820.csv (50.0 KB) _show_PARTITIONs_from_evt_norm_acc_entr_v2__202211251820.csv (49.9 KB)
没有明显的改观呢
SHOW TABLET FROM 表名 partition(partition名);
找这个表的一个Partition,看下数据均衡吗
应该是之前 谓词 + limit 的 bug