【详述】使用Flink SR connector读取SR数据,任务失败后BE querying mem未释放
【背景】启动Flink sql任务读取SR数据写入到数据湖
【业务影响】
【是否存算分离】否
【StarRocks版本】3.1.0
【集群规模】3fe(1 follower+2observer)+ 3be
【机器信息】16C/128G/千兆
【联系方式】社区群9-wulai
【附件】
flink connector版本:1.2.9-flink1.18,数据批量同步任务因为mem limit失败结束。
从15:05分占用86G左右到17.25才下降到38G左右,15:05到17.25期间一致保持86GB左右未释放。
BE metric截图:
BE mem tracker截图:
3个BE节点的info日志:
be.INFO-3.1.0Flink connector读取导致内存泄漏.zip (1.9 MB)