为了更快的定位您的问题,请提供以下信息,谢谢
【详述】flink插入starrocks失败,报错是事务数满了,一个db一百个。刚开始,flink任务启动没有问题,但是由于读的kafka有点问题,导致ck有报错,然后ck次数多了,就断开连接,flink挂了。修改事务数到200以后,就没有问题了。
【背景】做过哪些操作?
【业务影响】
【StarRocks版本】例如:2.0.1
【集群规模】例如:3fe(1 follower+2observer)+8be(fe与be混部)
【机器信息】内存128g,ssd
【附件】
-
目前猜测: 1.flink每个并行度都要一个事务,然后多个flink往一个db里面写,导致db事务数不够。
2.每次ck都会有事务没结束,导致ck次数多了就挂了。(但是改为200个事务,就没这个问题)
3.我修改了提交方式,变为五秒flush一次,不用ck之前flush,还是没啥用。