【BrokerLoad报错 mismatched row count】

【详述】执行BrokerLoad时出现以下报错
type:LOAD_RUN_FAIL; msg:mismatched row count: 512 vs 4096
image
【背景】表和BrokerLoad指令都没变,以前以执行成功
【StarRocks版本】2.4.0 c0fa2bb

进行了升级操作后才报错么?broker load 命令脱敏发一下

升级之前没问题的,用之前成功的BrokerLoad命令(就修改了一下Label防止重复)再执行一遍也会报错

FE和BE的日志方便发下嘛

另外可以关闭admin set frontend config (“enable_pipeline_load”=“false”);后再试试导入能否成功

apache_hdfs_broker.log如下:

be.WARNING如下:

fe.warn.log如下:

这个方案刚试了下,还是同样的报错

admin set frontend config (“enable_shuffle_load”=“false”);
再把这个关闭试一试

好的,我这边加你一下

可以通过关掉shuffle service绕过这个问题admin set frontend config (“enable_shuffle_load”=“false”)临时绕过这个问题,但是关闭shuffle service后,对于primary/unique key的话,可能会存在数据写副本不一致的问题。
问题发生的原因是因为,在shuffle的过程中,反序列化时所有的chunk都是根据第一个chunk的schema来进行解析的,但是在导入时,对于null字段,可能会出现第一个chunk的某一列是null(比如前4096数据中包含null值),但是第二个chunk对应的那一列不是null的情况(比如接下去的4096数据中完全不包含null值),因此反序列化会出现访问越界,导致crash。
后续我们会在2.4上面发布一个版本来修复这个问题。

我版本2.4.4 在某个表导入 遇到同样的问题,

可以详细说下你的场景吗?