current running txns on db 10147 is 100, larger than limit 100

【详述】程序1消费kafka数据写入文件,程序2将文件通过curl将文件以stream load方式加载到starrocks,发送文件到starrocks时出现以上错误。发送太慢,导致从kafka消费写的文件的数据产生大量积压。每个文件平均大小为30Mb左右,文件格式为csv数据格式。
【导入/导出方式】stream load
【背景】使用primary key模式,启用部分更新导入数据,每个文件存储相同列数据,实时更新写入
【业务影响】数据积压,写入速度跟不上,写入效率低
【StarRocks版本】2.3.0
【集群规模】1fe(1 follower)+8be(fe与be混部)
【机器信息】CPU虚拟核/内存/网卡,例如:48C/256G/万兆
【附件】

  • fe.warn.log/be.warn.log/相应截图

您好,请问是把每个30MB的文件,通过stream load导入一个primary key模型的表中,发现写入效率低,请问导入的频率是很高吗?方便把主键模型的表结构发一下吗?您发的附件我这边没看到。

max_running_txn_num_per_db 尝试提高这个参数值。

max_running_txn_num_per_db = 500