【2.5.11版本】磁盘IO占用一直保持在50%-60%

为了更快的定位您的问题,请提供以下信息,谢谢
【详述】2.5.11版本磁盘IO在没有查询任务时也一直居高不下


通过iotop查看发现是manual_compact占用较大

通过 lsof -p 8678|grep ‘/data’|grep ‘w’|sort -k7 -rn|head 查询结果为

通过查询结果为lsof -p 8678|grep ‘/data’|grep ‘u’|sort -k7 -rn|head

be.conf 如下
be.conf (12.2 KB)
be.info 截取如下
be.info (7.4 MB)
【背景】有一些streamload导入任务,数据量较小,频率为15秒左右
【业务影响】
【是否存算分离】
【StarRocks版本】例如:2.5.11
【集群规模】例如:1fe + 3be(fe与be单独部署)
【机器信息】CPU虚拟核/内存/网卡,例如:16C/64G/万兆
【联系方式】为了在解决问题过程中能及时联系到您获取一些日志信息,请补充下您的联系方式,例如:社区群4-小李或者邮箱,谢谢
【附件】

be.con update_compaction_size_threshold=67108864 试试

update_compaction_size_threshold=67108864 配置完IO下降至10%以内了,感谢大佬回复

@trueeyu 请问下大佬,这个问题出现的原因是什么呢?因为我们之前2.5.3版本没遇到过这个问题,想了解一下

主键模型,高频导入场景的一个badCase, 这个配置太大会导致主键模型Compaction占用大量磁盘IO,当前Main通过size-tired compaction 已解决掉这个问题,但是2.5上当前只能通过改配置来解决。

请问一下调整这个参数有其他的负面影响么,我也遇到了这个问题,测试了一下确实降了下来

一般不会有太大影响,2.5.21会把这个默认值改掉,3.1.11彻底优化了

生产环境磁盘IO还是有高,目前采用的是 FLINK CDC 写入到主键模型,修改到了64M 磁盘IO并没有降低,只是compact score 变低了


我们这个update_compact 特别多,有什么优化的空间么

升级到3.1.11吧,可以解决这个问题

或是先升级到2.5.21看看

目前没办法升级观测,我们建了很多主键表,加了bitmap 索引和布隆,这影响磁盘io使用 大么

admin execute on 10004 ‘System.print(ExecEnv.io_profile_and_get_topn_stats(“all”, 10, 2))’;
all/write/read: 类型
10: 采样时间
2: TopN
10004: be id

看下是什么文件占用了大量磁盘IO

请问一下这个咋执行,再客户端操作么,fe上没有be的pid

10004是be_id, show backends; 可以看到

或是看下数据目录下是否有比较大的l1文件。

script can only be executed on localhost 显示这个错误

升级到2.5.20/2.5.21吧。。小版本号太低了,不支持

有具体的路径么