使用flink-connector-starrocks1.2.9写入sr性能较差

为了更快的定位您的问题,请提供以下信息,谢谢
【详述】问题详细描述
【背景】做过哪些操作?
【业务影响】
【是否存算分离】
【StarRocks版本】3.1.13
【集群规模】:3fe(1 follower+2observer)+6be(fe与be混部)
【机器信息】CPU虚拟核/内存/网卡,例如:32C/64G/万兆
【表模型】主键模型
【导入或者导出方式】Flink
【联系方式】社区群15-rolat
【附件】
场景:14个kafka主题数据,(每15分钟约10G数据)通过一个flink程序接收,sink到不同的表中,并行度设置为6,写入数据需花费30几秒。


在建表时未设置enable_persistent_index属性,查看show create table xx后,该属性默认值是true(官方文档中说法,应该是false),手动alter表属性后,写入速度未太大变化。

sr支持事务,再怎么也不是特别快吧

使用的是stream load,应该100M/s单be节点,理论上不应该这么慢。这里还一个背景:正常每日新增600万用户的数据,速度是能处理,因为分析去年数据,导入了去年半年(用户数从600万变成2万)后处理速度特别慢

在BE日志里看下stream load的profile,看下是哪个阶段耗时

stream load 导入大量数据一段时间后 导入越来越慢 - :speech_balloon: StarRocks 用户问答 / 数据导入与导出 - StarRocks中文社区论坛 (mirrorship.cn)