flink connector导入报错get database write lock timeout

【详述】
使用flink connector实时导入数据到starrocks,UNIQUE KEY模型表。
stream load导入返回结果:get database write lock timeout,导致flink任务失败。

日志时间大约在:2022-11-24 10:11:30
这是当时的元数据同步监控:
图片

【业务影响】
flink实时同步任务失败
【StarRocks版本】
starrocks版本:2.0.1
flink connector starrocks版本:1.1.10_flink-1.11

【集群规模】
3fe(3 follower)+ 3be(fe与be混部)

【机器信息】
48C/188G/万兆

应该是导入太频繁了

可以增大调整下 txn_commit_rpc_timeout_ms 这个参数。

另外增大下flink导入的频率

catalog_try_lock_timeout_ms 这个参数也增大下看下

好的,我试试。请问starrocks支持的数据时效性一般是多少呢?业务上希望数据更新尽可能快,所以starrocks的数据更新能力一般是多久呢?

比较推荐的 timeout 是大于 10s

现在txn_commit_rpc_timeout_ms 参数是20s,catalog_try_lock_timeout_ms 是15s。我的意思是starrocks支持的数据更新频率最短是多少呢?现在是1分钟一批次更新数据,会有导入太频繁的问题,那正常或者合适的导入频率应该是多少呢?

最短就是10s。这个问题是不同导入任务争抢db锁导致超时了。可以先增大下timeout来观察下。

好的,谢谢,我试试看