Stream Load导入数据事务卡死导致集群无法写入数据

【详述】我们有大量任务通过自研dataxwriter将数据写入starrocks,datawriter使用streamload方式导入数据,在[date=2024-05-27 time=10:30:00 timezone=“Asia/Shanghai”] → [date=2024-05-28 time=12:00:00 timezone=“Asia/Shanghai”]出现failed to begin: current running txns on db x’x’x is 200, larger than limit 200问题,事务状态是commit且只存在于一台机器上,导致starrocks集群无法做其他事务操作语句以及写入数据
【背景】大量任务使用自研dataxwriter写入数据
【业务影响】导出到starrocks卡死,调度任务队列任务打满,导致其他离线任务无法运行,业务数据延迟
【StarRocks版本】2.5.13
【集群规模】3fe+6e(fe与be存在混布)
【异常信息】
image


fe.warn.log.20240527-1 (8.5 MB)
【解决方式】重启节点
目前不清楚问题的根因。日志太大之后都是相同的日志信息截断了