hive catalog 分区信息不变，分区下文件删除或修改导致查询报错

[zhengtingxue]

【详述】问题详细描述
创建hive catalog,正常查询hive cdh6 hive表数据，删除hive表分区下的文件，查询hive catalog 表报错，修改hive表分区下的文件名，查询hive catalog表报错
【背景】做过哪些操作？

1. 创建hive catalog ,cdh6.3.2,配置增量同步hive 元数据，查询hive外表正常
2. 删除hive 表table a 20220114分区下的文件，分区目录不变，starrocks查询table a 报错，提示读取hdfs文件报错，文件还是删除前的文件名
3. 修改hive 表table a 20220114分区下的文件，分区目录不变，starrocks查询table a 报错，提示读取hdfs文件报错，文件还是修改前的文件名
4. 删除hive表，重建hive表，重新插入hive表数据，查询正常了
   【业务影响】
   【StarRocks版本】例如：2.3.0
   【集群规模】例如：3fe（1 follower+2observer）+3be（fe与be混部）
   【机器信息】CPU虚拟核/内存/网卡，例如：48C/256G/万兆
   【附件】
   
   

[JiangLai]

删除文件、修改分区下文件名的这些操作和查询之间间隔多久？配置增量同步元数据的配置看下？

[zhengtingxue]

1. 间隔时间少到几秒，多到几个小时都不行 2. 配置了增量同步元数据，所以我删除表，然后新建表，插入数据之后。能1min之内查到最新数据，不会报错

[智数部架构]

我也遇到了这个问题，我和你一样配置了增量同步元数据。我的版本是2.3.5。
目前总结的解决这个问题方式：
方法1、重启FE，有一定概率会好。
方法2、如果是外表，重建外表。如果是hive catalog，就REFRESH
方法3、每次hive执行完，写个脚本，执行一下REFRESH。
我感觉是机制问题。我的解决方案只能是临时的。最终还是需要SR的工程师去解决一下。

[zhengtingxue]

我是refresh也不好使，就好像分区信息不会更新了一样，可能是他说的配置了增量元数据同步，refresh就不生效了。

[智数部架构]

我这边找到原因了。
我们这边的impala引擎导致的。
使用Spark和MR引擎，不会出现元数据无法刷新。
使用Impala引擎，则没办法及时刷新。
我这边测试了一下的确是这样的。