查询变慢了,稳定3秒到几分钟,但性能瓶颈没达到

【详述】最开始同步了一个库,3亿数据量,能在3s左右稳定返回,后来同步了多个库之后,有20亿数据的,但再查询3亿数据量的时候大多时候会很慢很慢,请问能分析是什么原因么,重装会变快,但同步了多库又会这样,但性能瓶颈没达到(CPU/内存/磁盘/内网),并发只有自己,还未上线。
【背景】增加同步库
【业务影响】
【StarRocks版本】2.3.0
【集群规模】2fe(1 follower+1observer)+3be
【机器信息】8C/16G
【附件】

  • Profile信息
    Profile.txt (150.8 KB)
  • 并行度:
    ±------------------------------------±------+
    | Variable_name | Value |
    ±------------------------------------±------+
    | parallel_fragment_exec_instance_num | 4 |
    ±------------------------------------±------+
  • cbo是否开启:
    ±------------------------------------±------+
    | Variable_name | Value |
    ±------------------------------------±------+
    | cbo_cte_reuse | false |
    | cbo_enable_low_cardinality_optimize | true |
    | cbo_max_reorder_node_use_dp | 10 |
    | cbo_max_reorder_node_use_exhaustive | 4 |
    | cbo_use_correlated_join_estimate | true |
    ±------------------------------------±------+
    explain costs:
    explain.txt (113.7 KB)

请您设置 pipeline_profile_level = 2 再跑一下profile
看您的SQL,请问新同步20亿数据,是在3亿的表基础上,还是新的表,和SQL里的表是无关的?

现在基本恢复了3s,sql是在3亿里的一些表,多个库千张表开启同步就这样,短时间有很多的Stream Load,除了调整合并策略和导入一些频率,请问可以设置查询线程之类的数量么,因为资源是有的

提高查询并发主要是这个参数parallel_fragment_exec_instance_num,服务器是8C的,您设置4也是符合最佳实践了。
查询第一次是会慢点,因为需要把数据从磁盘缓存至内存中,后面的查询使用内存,所以会达到较快的速度。由于您的机器是16G,可能是stream load多并发导入,缓存一致刷新,导致每一次查询不一定都是走内存,所以忽快忽慢,等stream load导入完成后,就稳定下来了。