broker export数据到s3

EXPORT TABLE db.table
TO “s3a://buket/path/”
WITH BROKER “broker_02”
(
“fs.s3a.access.key” = “xxx”,
“fs.s3a.secret.key” = “xxx”,
“fs.s3a.endpoint” = “xxxx”
);
采用上述导出,有5个人be,会生成5个小文件。

有什么方法让导出时最终合并到一个文件呢?

因为导出数据这里时间段做了控制,可预知最大行不超过8万行,

另外,这个export 支持where过滤吗

目前支持where已经在开发了,未来是会支持的

大佬,我这边aws路径是s3,不是s3a,结果导不动,export这块的知识又太少了,大佬你们也是aws s3的吗?

我的是华为云obs,参照s3的语法来的

我是aws的s3,按照官方的语法,不生效。

1赞

一样,日志提示报错