数据库异常IO

为了更快的定位您的问题,请提供以下信息,谢谢
【详述】我们会定期进行数据写入routing load数据,15S写入2000多万的数据
但是,我们其中一个服务器的某个磁盘总是不间断的将 IO打满,


图片如上图所示,存在大量的读操作,期间只有如下一个查询存在

因此当前只可能存在大量写操作,但是不存在读操作。
为什么会因为如此高的读磁盘将IO飙升。

【背景】磁盘扩展后的routing load
【业务影响】 影响正常的读取性能
【是否存算分离】 否
【StarRocks版本】例如:2.5.18
【集群规模】例如:3fe(1 follower+2observer)+7be,每个BE挂载 20个硬盘
【机器信息】CPU虚拟核/内存/网卡,例如:48C/64G/万兆
【表模型】例如:明细模型
【导入或者导出方式】例如:routing load
【联系方式】415768667@qq.com
【附件】

  • fe.log/be.INFO/相应截图
  • 完整的报错异常栈

HttpServer 一般是stream load导致,是不是这个时候在用本地盘,StreamLoad导入数据啊。

什么叫用本地磁盘,StreamLoad导入数据? 我们是用routing load 导入数据的,并且也只有这个磁盘异常的高

而且 streamload 不应该是dist wirte 打的比较高吗?为什么会是 disk Read 打的比较高

如果是streamload引起的,那么我的理解应该是Disk Wirte比较高,然后引起磁盘IO,但是实际上是Disk Read比较高,同时也只有这一个磁盘有问题

StreamLoad读本地文件

加载本地磁盘的文件,导入到StarRocks,没有这种用法吗

您值得是 insert into 这种方式吗?好像没有

不是的。

https://docs.starrocks.io/zh/docs/sql-reference/sql-statements/data-manipulation/STREAM_LOAD/ 这种

没有使用这种方式,使用的是routing load, stream load在这段时间范围内都没有使用过