为了更快的定位您的问题，请提供以下信息，谢谢
【详述】
一张表同时有数组和json类型，无法写入json类型，会写成字符串
【背景】
def test_string_to_json():
DROP TABLE IF EXISTS test.`test_json`;
CREATE TABLE test.`test_json` (
`event` varchar(65533) NULL COMMENT "",
`ab_gids` array<int> COMMENT 'AB实验组ID列表',
`extra` json NULL COMMENT "私有字段",
`m` varchar(65533) NULL COMMENT ""
) ENGINE=OLAP
DUPLICATE KEY(`event`)
COMMENT "OLAP"
DISTRIBUTED BY HASH(`event`);
truncate table test.test_json;
select get_json_string(extra, 'key1')
from test.test_json;
spark = spark_fun.get_local_spark()
data = [
("event1", [1, 2], {"key1": "value1", "key2": "value2"}, "t"),
("event2", [1, 2], {"key3": "value3", "key4": "value4"}, "t"),
("event3", [1, 5], {"key5": "value5"}, "t")
]
# Define the schema
schema = StructType([
StructField("event", StringType(), True),
StructField("ab_gids", ArrayType(IntegerType()), True),
StructField("extra", MapType(StringType(), StringType()), True),
StructField("m", StringType(), True),
])
# Create DataFrame
df = spark.createDataFrame(data, schema).persist()
df.show(20, False)
df = df.withColumn('extra_json', to_json(col('extra'))).drop('extra')
df = df.withColumnRenamed('extra_json', 'extra')
df.show(20, False)
starrocks_name = 'share'
database = 'test'
table = 'test_json'
write_options = {
"starrocks.column.types": "event string, ab_gids array<int>, extra string, m string",
}
starrocks_ddutil.save(df, starrocks_name, database, table, format_type='CSV', options=write_options)
【业务影响】
【是否存算分离】
存算分离和存算一体都一样
【StarRocks版本】
3.2.7
【集群规模】
1fe 3cn或3be
【机器信息】
【表模型】
duplicate key
【导入或者导出方式】
spark starrocks connector
【联系方式】
【附件】