BE节点,delta_writer磁盘读IO高异常

【详述】BE节点磁盘读IO吞吐量高,但是业务端并没有那么高的请求量。
【背景】无
【业务影响】影响所有flink任务写入
【StarRocks版本】2.3.1
【集群规模】3fe(1 follower+2observer)+3be(独立部署)
【机器信息】8C/64G/万兆
【详情】
读吞吐量见下图:

这个delta_writer是负责干嘛的,扫描需要compaction的数据吗?
读峰值可以到500MB/s

同时在这个读请求量高的时候:所有的Flink写入请求都会失败,正常的SQL查询没有问题。
持续时间在5-10分钟
请问有什么参数可以优化吗

io打满的情况我这里也是经常遇到,经过一系列优化之后目前已经好很多了。我这里主要是以下几个方法,仅供参考:

  1. 减少表的tablet数量,比如重新建表,减少分区分桶的数量。
  2. 降低写入频率,之前flink写入5s一次,现在我降到15s了。
  3. 修改compaction参数,降低频率,不过具体根据自己场景来,太慢了可能合并不过来版本数过多。
  4. 如果be使用了ssd磁盘,修改磁盘io的调度策略为none。

谢谢! 我参考下


文档里是这么写的,你们是不支持 kyber 算法所以直接配置的 none 吗,还是支持kyber 算法但经过对比发现配置 none 比较合适。

应该是ssd磁盘使用none策略性能更好

1赞