StarRocks所有查询忽然变慢了

【详述】StarRocks所有查询忽然变慢了,以前10秒的SQL,如今1分钟、2分钟才能返回
【背景】服务器重启过,内存从32G扩到了64G,出现过fe无法启动的问题,运维人员手工修改了meta的一些信息,见到了mv image image.new等历史命令
【业务影响】报表都出不了
【是否存算分离】否
【StarRocks版本】2.2.13
【集群规模】3fe(3 follower)+5be(fe与be混部)
【机器信息】CPU虚拟核/内存/网卡,16C/64G/万兆
【联系方式】StarRocks社区群6-土豆,谢谢
【附件】

  • Profile信息,Query_Profile.txt (318.4 KB)
  • 并行度:parallel_fragment_exec_instance_num=1; pipeline_dop=0
  • pipeline是否开启:show variables like ‘%pipeline%’; true、flase 都试过
  • 执行计划:无标题.json (114.5 KB)
  • be节点cpu和内存使用率截图
    关于CPU be进程在150%左右,内存使用率均不高;
    关于IOPS,过去磁盘io一直不好,await、svctm偶尔会在几十,过去也这样。

从profile中看是在 FirstInputEmptyTime 这一步耗时较长…但为什么呢?

论坛中另一篇帖子是IO问题,但这个case中虚拟机IO一直不好,历史记录await、svctm一直是那个屌样,不知道释放还有其他原因呢?

描述:Pipeline 第一次由于输入队列为空导致的阻塞时间。单独把第一次提出来是因为,第一次等待,大概率是由于 Pipeline 的依赖关系产生的。