【详述】
从2.5.3 升级到 3.0.3 之后,原本正常运行的许多Broker Load均失败了(大概 80%失败了),报错均是这种类型:
Error: String 'OMS-7DS13 ' is too long. The type of 'pack_lane' is VARCHAR(30)'. Row:
但是手动 Insert Into + Values 就可以。有些表还是能正常load。
即便把字符串长度增加到 65536 这种明显够用的长度也不行,还是报错:
Error: String ' C l o s e d ÿýÿýÿý L o s t' is too long. The type of 'vendor_lead_status' is VARCHAR(65536)'. Row:
Error: String ' C l o s e d â ¬ L o s t' is too long. The type of 'vendor_lead_status' is VARCHAR(65536)'. Row:
关闭严格模式后导入进来的表,这个字段没有受到影响,hive有多少为null,导入进来这个字段还有多少null,没有受到影响
语句:
LOAD LABEL ods_us.hive_to_starrocks_14_2023082515_01
(
DATA INFILE(“hdfs://xxx.org:8020/warehouse/tablespace/managed/hive/temp_db.db/xxx_info_02/*”)
INTO TABLE ods_xxx_info
FORMAT AS “ORC”(
vendor_lead_status)
)
WITH BROKER
PROPERTIES(“strict_mode”=“true”,
“load_mem_limit” = “2147483648”,
“timeout” = “6000”)
【背景】
所有 Broker Load语句均是从HDFS导入ORC文件,对于Hive里面的varchar类型,在StarRocks这边我们都将长度翻了三倍,但是也不行,即便长度暴力指定为65536还是报一样的错。
这些语句在升级之前都能正常运行。
【业务影响】
【StarRocks版本】3.0.3
【集群规模】
3fe(3 follower)+3be(fe与be混部)
500GB内存,128 CPU核心
【机器信息】
【表模型】
明细模型
【导入或者导出方式】
Broker Load
【联系方式】
StarRocks社区群4-Matata
【附件】
- fe.log/be.INFO/相应截图