升级到3.0之后Broker Load大量失败报错 String is too long

【详述】
从2.5.3 升级到 3.0.3 之后,原本正常运行的许多Broker Load均失败了(大概 80%失败了),报错均是这种类型:

Error: String 'OMS-7DS13 ' is too long. The type of 'pack_lane' is VARCHAR(30)'. Row:   

但是手动 Insert Into + Values 就可以。有些表还是能正常load。

即便把字符串长度增加到 65536 这种明显够用的长度也不行,还是报错:

Error: String ' C l o s e d  ÿýÿýÿý   L o s t' is too long. The type of 'vendor_lead_status' is VARCHAR(65536)'. Row: 

Error: String ' C l o s e d   â ¬    L o s t' is too long. The type of 'vendor_lead_status' is VARCHAR(65536)'. Row: 

关闭严格模式后导入进来的表,这个字段没有受到影响,hive有多少为null,导入进来这个字段还有多少null,没有受到影响

语句:
LOAD LABEL ods_us.hive_to_starrocks_14_2023082515_01
(
DATA INFILE(“hdfs://xxx.org:8020/warehouse/tablespace/managed/hive/temp_db.db/xxx_info_02/*”)
INTO TABLE ods_xxx_info
FORMAT AS “ORC”(
vendor_lead_status)
)
WITH BROKER
PROPERTIES(“strict_mode”=“true”,
“load_mem_limit” = “2147483648”,
“timeout” = “6000”)

【背景】

所有 Broker Load语句均是从HDFS导入ORC文件,对于Hive里面的varchar类型,在StarRocks这边我们都将长度翻了三倍,但是也不行,即便长度暴力指定为65536还是报一样的错。

这些语句在升级之前都能正常运行。

【业务影响】
【StarRocks版本】3.0.3
【集群规模】
3fe(3 follower)+3be(fe与be混部)
500GB内存,128 CPU核心

【机器信息】
【表模型】
明细模型
【导入或者导出方式】
Broker Load
【联系方式】
StarRocks社区群4-Matata
【附件】

  • fe.log/be.INFO/相应截图