20亿表单表并发聚合查询,在scan步骤慢

【详述】20并发压测同一sql,发现在scan步骤非常耗时,不知道瓶颈是不是在IO上,从profile里看到IOTaskWaitTime时间非常长,不知道这个指标是什么含义
【背景】
【业务影响】
【StarRocks版本】例如:2.5.5
【集群规模】例如:3fe(3 followerr)+3be(fe与be混部)
【机器信息】64C/128G/万兆
【联系方式】
【附件】

  • 慢查询:Untitled-7.yml (42.9 KB)
    • Profile信息
    • 并行度:1
    • pipeline是否开启:开启
    • be节点cpu和内存使用率截图

建表建了多少个桶

32个桶,数据分布可能存在不均匀的情况, 因为是测试数据

目前看确实是scan耗时最多,单个be挂载了几块盘?show data看下sr里面数据量多大,磁盘是hdd还是?io util是不是打满了?

3副本总共220多个G,单be是1个盘,ssd,io util在SR监控模板里有吗,还是需要监控服务器

看了下SR监控模板里的 io utils一直是0,是不是统计问题?

这个优化一下建表就行

让他这两个谓词能命中前缀索引可能会好些