StarRocks select from file支持正则嘛

为了更快的定位您的问题,请提供以下信息,谢谢
【详述】
select * from file(path)读取hdfs数据,支持Path写正则嘛,因为Spark在写入数据在hdfs时,会生成一个Success文件,我在读取这个Path时,会因为Success文件,导致数据读取报错,想咨询下是否支持在Path上写正则,过滤掉Success文件
: Access storage error. Error message: failed to get file schema, path: hdfs://tt/tt1/pt=20240619/*, error: [OrcChunkReader::init failed. reason = File size too small, file = hdfs://tt/tt1/pt=20240619/_SUCCESS]

Hello,有社区大佬可以帮忙解答下不

写个正则试试呗

测试下来是不支持的

感谢反馈,我们提个优化,集群版本是什么

3.2.7

pipe方式从hdfs导orc数据到sr,支持吗?

Select Files看文档是支持orc的

hdfs上有空块(0 size,因为分桶了),starrocks对应有设置吗,不然老是提示文件太小

是的,已经测试了,目前遇到的问题是,hive分区分桶表hdfs有空块,select * from files的时候,报错 File size to small, starrocks怎么避免读取这些空文件呢,或者读了忽略不至于报错

这个目前是不支持的,所以正则过滤还是有必要的,看社区什么时候支撑下