broker load 数据失败

1.使用EXPORT 将数据导出到阿里云oss 脚本如下:
EXPORT TABLE e_sales_operations_510 TO “oss://xxxt/datacenter/export/” PROPERTIES(“column_separator”=",") WITH BROKER “broker1” ( “fs.oss.accessKeyId” = “xxx”, “fs.oss.accessKeySecret” = “xxx”, “fs.oss.endpoint” = “oss-cn-hongkong.aliyuncs.com” );

2.然后想将导出的数据通过broker load 导入 删除掉,执行命令如下:
LOAD label datacenter_search_test02.e_sales_operations3 ( DATA INFILE(“oss://xxx/datacenter/export/data_e346d585-dffe-11ec-8fa1-aacd107a8086_1_0_0.csv”) INTO TABLE e_sales_operations_510 FORMAT AS “csv” SET (__op =‘delete’) ) WITH broker “broker1” ( “fs.oss.accessKeyId” = “xxx”, “fs.oss.accessKeySecret” = xxx", “fs.oss.endpoint” = “oss-cn-hongkong.aliyuncs.com” );

3.通过show load where label = ‘e_sales_operations3’\G; 查看

查看http://192.168.250.116:8040/api/_load_error_log?file=error_log_c4dcefc13b145bf_a64548a055af693b

这个报错是列不对称吗?

备注:Starrocks 版本为 2.1.3

列数不匹配的问题, e_sales_operations_510表是主键模型吗?是的话可以参考这个部分https://docs.starrocks.com/zh-cn/main/loading/PrimaryKeyLoad,看看可不可以满足需求

1赞

嗯嗯 是主键模型,https://docs.starrocks.com/zh-cn/main/loading/PrimaryKeyLoad 我看了这个文档,同一个文件 stream load 成功了 broker load 则报上述的错误。

这个 stream load,broker load 只支持csv格式的文件吗? 支持json吗?