查询外部hudi catalog 的hudi分区表在分区减少时报错

为了更快的定位您的问题,请提供以下信息,谢谢
【详述】问题详细描述
使用starrocks查询hudi catalog的hudi分区表,当hudi分区表的分区删除时,starrocks会报错,如图。


【背景】做过哪些操作?
CREATE EXTERNAL CATALOG ‘catalog_hudi’
PROPERTIES
(
“type” = “hudi”,
“hive.metastore.uris” = “thrift://10.0.1.2:9083”,
“metastore_cache_refresh_interval_sec” = “120”,
“remote_file_cache_refresh_interval_sec” = “30”,
“metastore_cache_ttl_sec” = “180”,
“remote_file_cache_ttl_sec” = “240”,
“enable_metastore_cache” = “true”,
“enable_remote_file_cache” = “true”
)

CREATE EXTERNAL CATALOG ‘catalog_hudi_no_cache’
PROPERTIES
(
“type” = “hudi”,
“hive.metastore.type” = “hive”
“hive.metastore.uris” = “thrift://10.0.1.2:9083”,
“enable_metastore_cache” = “false”,
“enable_remote_file_cache” = “false”
)
【业务影响】
对于hudi的分区表无法正常查询
【StarRocks版本】例如:v2.5.3
【集群规模】例如:4fe(2 follower+1observer)+4be(fe与be混部)
【机器信息】CPU虚拟核/内存/网卡,例如:48C/64G/万兆
【联系方式】
13208101907 mhsccd@163.com
【附件】

过四分钟查询还是会报错么?

还是会报错,一样的 refresh表都没有用,不用缓存也没有用

1赞

我们也遇到同样的问题,请问后来你们找到方法解决了么?这是StarRocks的BUG么?

这是StarRocks的BUG么?

没有使用缓存也存在这个问题,这个完全没有想明白。。。。