【详述】ROUTINE LOAD KAFKA导入JSON数据使用自定义函数无法插入数据
【背景】做过哪些操作?
【业务影响】
【StarRocks版本】3.0.0
【集群规模】3fe(1 follower+2observer)+4be(fe与be混部)
【机器信息】
【表模型】主键模型
【导入或者导出方式】KAFKA
【联系方式】
【附件】
CREATE ROUTINE LOAD example_db.example_tbl2_ordertest2 ON example_tbl2
COLUMNS(commodity_id, customer_name, country, pay_time, price, pay_dt=core_date_format(pay_time, ‘%Y%m%d’))
PROPERTIES
(
“desired_concurrent_number” = “5”,
“format” = “json”,
“jsonpaths” = “[”$.commodity_id","$.customer_name","$.country","$.pay_time","$.price"]"
)
FROM KAFKA
(
“kafka_broker_list” = “<kafka_broker1_ip>:<kafka_broker1_port>,<kafka_broker2_ip>:<kafka_broker2_port>”,
“kafka_topic” = “ordertest2”,
“kafka_partitions” = “0,1,2,3,4”,
“property.kafka_default_offsets” = “OFFSET_BEGINNING”
);
目前routine load sql中不支持使用自定义函数,看起来自定义的函数是做时间转换的,现有的函数无法实现么
谢谢回复,现有内置函数可以实现,但是略复杂,所以才使用自定义函数。
请问,routine load sql是否支持将原始数据整体提取出来呢,比如original_text
= raw()这种写法,我没有找到可用的函数,看到这里说也不能用自定义函数,,所以不知道能否实现