【2.5.11版本】磁盘IO占用一直保持在50%-60%

为了更快的定位您的问题,请提供以下信息,谢谢
【详述】2.5.11版本磁盘IO在没有查询任务时也一直居高不下


通过iotop查看发现是manual_compact占用较大

通过 lsof -p 8678|grep ‘/data’|grep ‘w’|sort -k7 -rn|head 查询结果为

通过查询结果为lsof -p 8678|grep ‘/data’|grep ‘u’|sort -k7 -rn|head

be.conf 如下
be.conf (12.2 KB)
be.info 截取如下
be.info (7.4 MB)
【背景】有一些streamload导入任务,数据量较小,频率为15秒左右
【业务影响】
【是否存算分离】
【StarRocks版本】例如:2.5.11
【集群规模】例如:1fe + 3be(fe与be单独部署)
【机器信息】CPU虚拟核/内存/网卡,例如:16C/64G/万兆
【联系方式】为了在解决问题过程中能及时联系到您获取一些日志信息,请补充下您的联系方式,例如:社区群4-小李或者邮箱,谢谢
【附件】

be.con update_compaction_size_threshold=67108864 试试

update_compaction_size_threshold=67108864 配置完IO下降至10%以内了,感谢大佬回复

@trueeyu 请问下大佬,这个问题出现的原因是什么呢?因为我们之前2.5.3版本没遇到过这个问题,想了解一下

主键模型,高频导入场景的一个badCase, 这个配置太大会导致主键模型Compaction占用大量磁盘IO,当前Main通过size-tired compaction 已解决掉这个问题,但是2.5上当前只能通过改配置来解决。