从s3 broker load数据偶发异常

为了更快的定位您的问题,请提供以下信息,谢谢
【详述】从s3每小时broker load数据,偶发失败异常:
type:ETL_RUN_FAIL; msg:Tablet lost replicas. Check if any backend is down or not. tablet_id: 173714425, replicas: 11042:1/-1/1/0:NORMAL:ALIVE,
【背景】会for循环导入10几张小表,drop partitions当天,broker load完成后中间有sleep 几秒,每小时一次,大约几十万数据,并不大。
【业务影响】数据导入失败
【是否存算分离】否
【StarRocks版本】2.5.16
【集群规模】1fe+6be(fe与be混部)
【机器信息】16core +128G
【表模型】明细模型,1副本, 分桶3
【导入或者导出方式】broker load
【联系方式】Starrocks社区群6
【附件】
下面是show tablet id后,请求里面url的返回的信息


ea77e21f929b72dfc7075e423b16e43

重试有成功吗?中间be有重启吗

be没有重启和挂掉,日常定时任务,偶会失败。
重试有可能会成功,有可能再次失败,再次失败也是相同原因。

回头再出现的时候,可以根据报错的tablet_id,比如你这次发的173714425,到fe leader节点fe.log和be的日志be.INFO都grep一下对应的tablet_id,看下中间是不是什么操作给tablet删了,比如drop、truncate、insert overwrite等

是分区表,先drop的分区,然后再load的

drop分区之后会再补齐分区吗

是的,然后再broker load数据

可以试下直接truncate分区,比drop分区再补方便一些。另外能发下对应报错tablet_id在fe和be里的日志吗

fe.log会有类似如此相关报错:
2024-02-23 01:19:38,489 INFO (ReportHandler|336) [ReportHandler.addDropReplicaTask():862] delete tablet[197821493] from backend[11001] because not found in meta

be中会有类似信息:
I0222 15:33:16.612704 22119 agent_server.cpp:382] Submit task success. type=CREATE, signature=197821493
I0222 15:33:16.612776 23014 tablet_manager.cpp:140] Creating tablet 197821493
I0222 15:33:16.613044 23014 tablet_manager.cpp:209] Created tablet 197821493
I0222 15:43:01.811456 23099 tablet.cpp:1009] start to do tablet meta checkpoint, tablet=197821493.755717592.214e07198f915178-e3dac324e04a43a1
I0223 01:19:38.592692 3253 agent_server.cpp:386] Submit task success. type=DROP, signature=197821493
I0223 01:19:38.593488 23011 tablet_manager.cpp:365] Start to drop tablet 197821493
I0223 01:19:38.593531 23011 tablet_manager.cpp:410] Succeed to drop tablet 197821493
I0223 01:21:31.432449 23083 tablet_manager.cpp:1000] Moved /pdata/starrocks/data/data/342/197821493

15:33会有如下操作:
for hour in range(0, 24):
mysql.add_hour_partition(‘tablename’, day, hour)
time.sleep(10)

15:34开始from s3 broker load

add_hour_partition里面会先DROP PARTITION IF EXISTS 再 ADD PARTITION IF NOT EXISTS。