sql查询过慢,请教profile是否可以优化提升性能

【详述】sql查询过慢,请教profile是否可以优化提升性能
【背景】一张25亿的表,按天分区,每天500w的量,手动去查有時候要10s左右,求帮忙看下有没有优化的建议哈
【业务影响】
【StarRocks版本】例如:2.3
【集群规模】例如:3fe+3be(fe与be混部)
【机器信息】CPU虚拟核/内存/网卡,例如:40C/128G/千兆
【附件】
explain.txt (3.4 KB) profile.html (28.7 KB) 建表语句.txt (28.4 KB)

看你的profile主要耗时是在scan层,检查一下你这个表是不是有数据倾斜image

evt_norm_acc_entr 这个表

是检查dept_num的数据分布么 deptnum 分布.csv (214.5 KB)

StarRocks查询scan性能分析 参考下这个帖子检查下数据倾斜的问题~

是有数据倾斜的问题,那要重新选取hash键,需要重新建表导数据么,另外磁盘是HDD的,但是数据量并不大(即使数据倾斜也会这么慢吗)

你好
方便设置
set global enable_pipeline_engine = false;
set global parallel_fragment_exec_instance_num = 20;
重新跑下么?

没有数据倾斜合适的键呢,这是建了两种不同的分区,第二种更慢一些,我是要查全表的_show_PARTITIONs_from_evt_norm_acc_entr__202211251820.csv (50.0 KB) _show_PARTITIONs_from_evt_norm_acc_entr_v2__202211251820.csv (49.9 KB)

没有明显的改观呢

SHOW TABLET FROM 表名 partition(partition名);  

找这个表的一个Partition,看下数据均衡吗

应该是之前 谓词 + limit 的 bug