多个streamload任务写入同表同分区发现耗时较久

【详述】多个streamload任务写入同表同分区发现耗时较久
【背景】只有704条数据,500K左右
【业务影响】
【StarRocks版本】2.3.3
【集群规模】3fe(2 follower+1observer)+6be(fe与be混部)
【机器信息】108C/500G/万兆
【联系方式】社区群1-invert或者532309747@qq.com
【附件】


701条数据 总耗时单位是秒吗

是的,耗时29s多,查be日志 耗时如图

如果stream load不是写入同表同分区 就不慢了吗?

我们昨天拆表了,没有了并发,发现还是慢


红箭头的地方耗时,为什么这么大?

您每批任务跑多点数据,几十万,几百万都可以的。每批操作的数据量太少了。


您要看一下下面哪里最耗时

麻烦问下能微信聊吗,这个太慢,我们要验证 秒级实时写入,不能超过2s;

日志后面没有了,只是看到耗时大,不清楚那个地方导致的?

实时写入用flink吧

flink 和 streamload 区别?

flink可以做到2秒内,stream load主要是用来做批量导入,不是用来做实时写入的。

flink直接写starrocks? 现在的问题是,图中那个耗时大,应该和flink或者streamload 写入方式没关系吧?

你这个耗时在图中 backendId=11004 这个节点上长尾了,花了4s+,导致整个stream-load任务耗时长,你排查下这个节点磁盘io、cpu负载是不是比较大

这个是升级到2.5.6之后,打印出了具体的耗时,帮忙看下

卡在刷盘了,是不是磁盘性能比较差,磁盘IO很高
BE参数 flush_thread_num_per_store=8 调整一下吧

ok ,我们试试

调参BE参数 flush_thread_num_per_store=12之后,又遇到如下耗时长的问题,辛苦帮忙看下,啥原因,如何解决? 多谢


没有发现 cpu 或io 很高
starrocks的监控


服务器监控