为了更快的定位您的问题,请提供以下信息,谢谢
【详述】从mysql实时同步数据到starrocks,出现部分任务同步异常,导致后续其他实时任务都无法同步,大量任务积压
【背景】通过重启FE和BE后,还是存在大量积压任务;后续通过重新对FE节点进行元数据同步后,把实时同步异常的表删除重建成JDBC外表后,积压任务减少,但还是存在11个stream_load处于prepared状态,也没ErrMsg。看了BE节点的日志,发现是_statistics_.column_statistics表的tablet一直报错,请问这种情况应该怎么处理,是否会对集群有影响?
后续应该如何有效监控实时同步任务,避免任务积压,有没有优化的方法呢?
【业务影响】实时任务无法同步数据,业务访问数据未更新
【是否存算分离】否
【StarRocks版本】例如:3.2.11
【connector版本】flink-connector 1.2 或者spark-connector 1.2
【集群规模】例如:3fe(3 follower)+3be(fe与be分开部署)
【机器信息】CPU虚拟核/内存/网卡,例如:48C/64G/万兆
【联系方式】为了在解决问题过程中能及时联系到您获取一些日志信息,请补充下您的联系方式,例如:社区群10-Touché
【附件】
- 任务积压
BE节点截图
- 导入性能不足
- profile