REFRESH EXTERNAL TABLE执行很慢

2.3.8的版本,fe be分开部署,执行刷新hive外部表很慢,一直在运行,集群cpu,内存空闲。请问这是什么原因,如何排查?

  1. refresh是刷新hms,可以看下 hms 侧是否压力较大
  2. refresh 更新fe中缓存的hive表元数据信息,可以看下该表是否分区以及文件信息较多,fe jvm设置是否足够,fe是否有长时间gc
  3. 此外 2.3版本已经不维护了,建议尽快升级到 3.1+版本

好的,感谢,我们尽快升级。

2.5.21版本我们也遇到这个问题

有个问题,SR refresh是全量刷新还是增量刷新?

SR没办法感知HIVE元数据变更,会有一个问题,研发同步,一二次没查到最新数据,导致在查询之前,都进行refresh,慢查询都是refresh