broker load导入多文件时,某个文件数据丢失

【详述】问题详细描述
【背景】做过哪些操作?
broker load时,多个文件显示导入成功,但是查询时某个文件数据查询失败
再次导入数据执行成功
查询load状态:两次load信息一致

【业务影响】
【StarRocks版本】例如:1.18.2
【集群规模】例如:3fe(1 follower+2observer)+5be(fe与be混部)
【机器信息】CPU虚拟核/内存/网卡,例如:48C/64G/万兆
【表模型】例如:主键模型
【导入或者导出方式】例如:Flink
【联系方式】为了在解决问题过程中能及时联系到您获取一些日志信息,请补充下您的联系方式,例如:社区群4-小李或者邮箱,谢谢
【附件】
| 5787678 | R_2023100648227 | FINISHED | ETL:100%; LOAD:100% | BROKER | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=27567887 | cluster:N/A; timeout(s):3600; max_filter_ratio:0.0 | NULL | 2023-03-03 10:23:25 | 2023-03-03 10:23:29 | 2023-03-03 10:23:29 | 2023-03-03 10:23:29 | 2023-03-03 10:25:07 | NULL | {“Unfinished backends”:{“2bf3df6e-f171-4ad8-8b8e-406982add3c6”:[]},“ScannedRows”:27567887,“TaskNumber”:1,“All backends”:{“2bf3df6e-f171-4ad8-8b8e-406982add3c6”:[10004,10030,10029,10028,10003,10032,10031,10033]},“FileNumber”:39,“FileSize”:2419614357}
| 5785108 | R_20230303080000100648227 | FINISHED | ETL:100%; LOAD:100% | BROKER | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=27567887 | cluster:N/A; timeout(s):3600; max_filter_ratio:0.0 | NULL | 2023-03-03 08:09:42 | 2023-03-03 08:09:43 | 2023-03-03 08:09:43 | 2023-03-03 08:09:43 | 2023-03-03 08:11:25 | NULL | {“Unfinished backends”:{“9e5dffc3-6a87-41db-a7e8-80661d44f295”:[]},“ScannedRows”:27567887,“TaskNumber”:1,“All backends”:{“9e5dffc3-6a87-41db-a7e8-80661d44f295”:[10030,10004,10029,10028,10003,10032,10031,10033]},“FileNumber”:39,“FileSize”:2419614357}

什么版本 把LOAD LABEL发一下

2.0.0版本,对应的load label为:R_2023100648227和R_20230303080000100648227

2.0.0 太旧了,请使用2.5.2版本吧

可以升级版本的,但是这个现象是什么原因造成的呢

可能是数据commit了但是没有visible 这种的话数据可见是有延迟的, 您是不是导完马上查的,没数据就truncate又导入了一遍?

我是在show load时发现数据导入成功之后执行的查询

麻烦看下导入的是什么表模型 ?

是一个明细模型表的

看load信息第一次导入和第二次导入都是导入成功的 如果第二次导入前没有做truncate操作 那数据可能会重复 这个麻烦您检查下 有这块的问题吗 ?

每次load之前会删除数据的,所以不会有这个问题

那应该就是数据commit了 但是没有visible, 这种的话数据可见是有延迟的

已经过去9个小时还是没有成功

当前是重新导入了一遍 显示成功了 但过去九个小时了 还没有数据?