【详述】问题详细描述:使用strem load http 10个并发导入Primary Key 表,大概2个小时 磁盘读特别大,达到300+MB/s,导入速度非常慢,频繁出现 Publish timeout 、Reached timeout=15000ms 异常信息
【是否存算分离】存算一体
【StarRocks版本】例如:3.2.1
【集群规模】例如:3fe+3be(fe与be独立部署)
【机器信息】CPU虚拟核/内存/网卡,例如:16C/32G/万兆
【表模型】例如:主键模型
【导入或者导出方式】strem load http 并发导入+ 索引持久化
【联系方式】StarRocks 社区群17-刘东发
之前提过的相同问题:stream load 导入大量数据一段时间后 导入越来越慢
之前的版本2.5、3.1.2 都遇到过类似的问题,最新版本说是已解决了此问题如下图1,但是实际测试导入还是没有彻底解决。原来并发导入 半个小时 会出现 磁盘读放大,现在2个小时出现。
图1
图2 磁盘读放大