【版本信息】
- 升级前：
2.0.8 - 升级后：
2.2.10
【遇到的问题】
-
创建 routine 任务后，定义了
strip_outer_array="true"。 -
当传入的是普通 JSON 数据的时候，例如
{col1:'xxx',col2:'xxx'}，数据不会正常同步，并且会导致后面即使传入了正确的数组类型数据[{col1:'xxx',col2:'xxx'},{col1:'xxx',col2:'xxx'}]也没法正常同步，只能删除这个任务重建。 -
在之前的
2.0.8版本的时候并不会出现这个问题，即使传入了错误数据也可以跳过，不影响正确数据的同步。
【任务配置】
CREATE ROUTINE LOAD db01.job_01 ON t1
COLUMNS (col1,col2,col3)
PROPERTIES
(
"desired_concurrent_number"="1",
"max_error_number"="500000",
"max_batch_interval" = "5",
"max_batch_size" = "104857600",
"strict_mode" = "false",
"format" = "json",
"strip_outer_array" = "true"
)
FROM KAFKA
(
"kafka_broker_list"= "xxx:9092",
"kafka_topic" = "mytopic",
"property.client.id" = "consumer01",
"property.group.id" = "starrocks",
"property.kafka_default_offsets" = "OFFSET_END"
);
【报错日志】
- BE 报错日志
W0203 17:42:32.754791 293204 file_scan_node.cpp:300] FileScanner[0] process failed. status=the value should be array type with strip_outer_array=true, value: {"col1":"2023-02-03 11:58:53","col2":"28","col3
W0203 17:42:32.754904 140631 plan_fragment_executor.cpp:188] Fail to open fragment, instance_id=f04bd65c-8f37-4fe7-903b-d11b56236b04, status=Data quality error: the value should be array type with strip_outer_array=true, value: {"col1":"2023-02-03 11:58:53","col2":"28","col3