BE其中某个节点磁盘IO打满

【详述】每天早晨4点到9点是离线任务集中执行的时间,一般每月的前20天资源还可以,20号以后就会出现磁盘IO持续升高的情况,但是任务执行完就会回落,但是接近月底的时候就会出现某一个BE节点磁盘IO持续高,下不来,单独重启BE后,接着磁盘IO又上来了
【背景】每天定时任务进行读写计算
【业务影响】查询超时
【是否存算分离】否
【StarRocks版本】3.0.7
【集群规模】3fe(3follower)+4be(fe与be分开部)

问题:
1、只有一个BE节点磁盘IO高,可能下一次会是其他节点,查看监控确实达到了瓶颈,但是不知道为什么读写这么高,是不是Starrocks内部做合并操作之类的



2、最后是stop掉BE,等20分钟后再启动,进行负载均衡后才恢复的

(upload://nXb3T3gKP7wEHkCcAcRyrFepmuN.png)

sudo iotop 发下

不要加-P

我重启BE了,没事了,很奇怪啊,为什么重启后有时就没事了,怎么定位具体是加载哪些表?

尽快不升级到3.1吧,3.0有些磁盘IO高的问题,已经在3.1上Fix了

每到快月底的时候出现,前20天倒是没事




这个优化了,升级到3.1的最新版本吧

短时间升级不了,有什么临时解决办法吗?

3.0这个版本解决不了

为什么只有一个节点高?今天是这个节点,明天可能是另外一个节点,每次总是一个节点高

积累到一定程度就会出问题

重启BE是不是可以缓解一段时间

有时重启会管用,有时重启多次,直接stop再start,还是高,中间需要停止10多分钟再启动有一些效果,

stop 10分钟后再start,也会高,但是不会一直高,会起起伏伏,过个十几分钟,会平稳下来

请教一下,主要是做什么操作呢?高的时段也没有多少大查询,是Starrocks自己内部做什么操作导致的吗?

PersistentIndex导致的,

导入会触发

3.0只是一个过渡版本,后面也不维护了,建议升级