BE节点每天固定时间段CPU负载很高

【业务影响】负载高的时间段,大查询无法执行成功,有时候某些BE也会挂掉
【StarRocks版本】例如:2.5.2
【集群规模】例如:3fe 15be
【机器信息】32c 128G/8T
【联系方式】社区群3-duke
【详述】该集群是 从2.1.2 -> 2.3.7 -> 2.5.2 逐步升级上来的,在第一次升级到2.3.7 之后集群BE持续了几天 CPU 高的的现象,后来恢复,后面升级到2.5.2 之后 过了一段时间 发现晚上 9.00-9.30 半个小时的时间CPU 持续满载,影响正常任务。排查写入、查询任务,以及be.log,这短时间跟其他时间相比并没有明显增量。
想请社区大佬协助排查下
监控:



perf 监控BE 的结果:

看着都是scan线程,发个be日志看下?或者看下fe.audit.log对应时间点cpucost比较大的查询看下?
另外机器开了swap吗?swap关闭吧

  1. 负载比较高时间段的部分 be.info be.info (73.6 MB)

  2. audit.log中只有plancpucost,没有找到cpucostNs 字段,这个字段是哪个版本添加的?

  3. 刚检查了一遍 swap 有部分be没关,已经关闭,后续再观察下