submit task 方式数据同步失败 -- hdfsOpenFile failed

【详述】通过 submit task方式同步数据的时候,程序运行的时候总是会时不时出现如下报错,请问有好的解决办法吗?hdfsOpenFile failed, file=hdfs://XX/user/hive/warehouse/ads_hive.db/ads_day_org_pro_sal_inv/p_day=20231101/d4e7934395782d9-8b08d7f600000089_546176450_data.0.parq
【背景】submit task 方式数据同步失败
【业务影响】严重
【是否存算分离】否
【StarRocks版本】3.1
【集群规模】例如:3fe(1 follower+2observer)+5be(fe与be混部)
【机器信息】CPU虚拟核/内存/网卡,例如:48C/64G/万兆
【表模型】明细模型
【导入或者导出方式】submit task
【联系方式】 U_1697451554871_4081
【附件】

您好,请问有在看这个问题吗?

这个同步任务链路请描述下,查询hive外表写数据到sr么?

看报错是查询hive,但是hive侧的分区元数据更新了,sr中元数据缓存没更新,可以调整下元数据缓存刷新的间隔。

你好,目前链路是通过创建 Hive Catalog ,然后以 submit task load_task_${label_dt} AS insert into 的方式将 Hive 中的数据同步到 StarRocks。

您好,如果调整的话有无对应的调整策略?

hive catalog 外表支持三种刷新方式:
1.手动刷新
刷新全表和只刷新部分分区,刷新部分分区不会刷新表结构.
2.自动增量更新
FE 定时从 HMS 读取各种事件,进而感知 Hive 表元数据的变更情况,进行元数据刷新,会对 HMS 产生较大压力
3. 2.5.5开始支持周期性刷新元数据缓存,建议等2.5.18 release 后升级使用该刷新方式,预计元旦节后发布
增量刷新元数据,有查询的hive表的元数据才会刷新,并不会把hive所有表的所有元数据更新弄过来,每个表时串行的 https://docs.starrocks.io/zh/docs/data_source/catalog/hive_catalog/#周期性刷新元数据缓存
3.1版本默认是第三种方式,这个方式默认10分钟刷新一次元数据缓存,您这个submit task任务多久调度一次,可以缩短下这个刷新周期

您好,目前通过刷新SR元数据的方式该问题暂时没有了,谢谢你。
refresh external table hive.db.table,请问只刷新某个分区该怎么实现呢?