starrocks 3.3 load 时 经常存在 VERSION_INCOMPLETE 创建大量clone 任务

为了更快的定位您的问题,请提供以下信息,谢谢
【详述】连续2天出现该问题
【背景】新入库了几张主键表
【业务影响】
【是否存算分离】否
【StarRocks版本】例如:3.3.3
【集群规模】例如:3fe(1 follower+2observer)+3be(fe与be混部)+ 4 cn
【机器信息】CPU虚拟核/内存/网卡,例如:32C/128G/万兆
【联系方式】为了在解决问题过程中能及时联系到您获取一些日志信息,请补充下您的联系方式,例如:社区群7-n1
【附件】
469648.txt (22.6 KB)

1赞

看日志是和数据版本的不一致或副本状态有关

VERSION_INCOMPLETE 通常是由于部分副本的数据不完整或没有达到一致性要求导致的,尤其是在数据加载或写入过程中

  1. show proc ‘/statistic’ 看下不健康副本数等 是否存在 不是采用的单副本导入吧?

  2. 看日志中的clone 任务 生成是频繁打印的 这个要检查下是否有某些 BE 节点负载过高或存在资源瓶颈
    3 资源ok的话 可以调整下相关参数 max_clone_task_timeout , clone_thread_pool_size 调大写,保证 clone 任务有足够的资源和时间来完成数据的同步。

  3. 确保导入涉及的表都是3副本的

副本为3 ,replicated_storage=true, 节点负载不到20%,创建大量clone 任务后到达50%

昨天 调整了部分表 replicated_storage=false 仍然出现该情况 追踪单个事务相关日志如下 starrocks日志上报.txt (22.3 KB)