【详述】flink 13.5 导入 starrocks,最开始的时候是没有问题的,当db库里导入了两张表,一个是2.5亿左右的数据,一个是5亿左右的数据的时候。flink就导入不进去了。并且开始疯狂报错。及时重新导入新的表的时候也会报错。
【背景】做过哪些操作?
使用从kafka到starrocks。使用官网版本,sr为最新版本。
数据为json数据,版本包为 1.2.4_flink-1.13_2.11
json大小每条3kb左右。1个副本。
请问是不是因为每个库对写入数据有限制造成的??
【业务影响】
【StarRocks版本】例如:2.4.1
【集群规模】例如:3fe(1 follower+2observer)+7be(fe与be混部)
【机器信息】CPU虚拟核/内存/网卡,例如:48C/64G/万兆
【附件】
- fe.log/beINFO/相应截图
com.starrocks.data.load.stream.TransactionStreamLoader - Transaction started, body : {
“Status”: “ANALYSIS_ERROR”,
“Message”: “current running txns on db 81745 is 100, larger than limit 100”
}