hive catalog查询外表报错hdfsOpenFile failed

【详述】使用sr 查询hive外表报错hdfsOpenFile failed
【背景】配置了hdfs-site core-site hive-site hadoop_env 也配置了krb5相关的操作 配置了cron定时刷新 部份表可以查出来数据 部份表不可以
【业务影响】无法鱼hive联席查询
【StarRocks版本】3.0.4
【集群规模】3fe + 3be
【机器信息】36C/128G/千兆
【联系方式】社区群14-伴梦
【附件】
创建catalog语法


查询报错样例
select count() from hive_catalog.database.table1;

正确查询样例
select count(
) from hive_catalog.database.table1;

到所有的 fe和be日志中搜该sql查询报错的日志,看有没有更详细的信息

starrocks日志.txt (25.9 KB) 这是相关的日志

大佬看出来啥问题吗 还需要什么日志吗

发一下 be.out 日志

还有 be.INFO 日志,都发下,这个报错是从 be 来的。

这是相关的日志 麻烦看一下sr.zip (74.5 MB)

发送在上一条了 麻烦看一下

hdfsOpenFile(hdfs://mycluster/warehouse/tablespace/external/hive/dw_ctp2.db/dws_user_event/trading_day=20230705/part-2177a17c-4452-40f8-9b1b-5cf4ed7898ab-task-14-file-2): FileSystem#open((Lorg/apache/hadoop/fs/Path;I)Lorg/apache/hadoop/fs/FSDataInputStream;) error:
ConnectException: Connection refusedjava.net.ConnectException: Call From ambaric1/172.28.88.91 to ambarim1:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
	at sun.reflect.GeneratedConstructorAccessor16.newInstance(Unknown Source)

be 和 ambaric1/172.28.88.91 to ambarim1:8020 的网络通吗

网络是通的 这个是肯定没问题的

方便贴下 be 和目标节点 ping 的结果吗,然后集群有开 kerberos 吗。

注意是 be 的,不是 fe 的。

这是ping结果 这个主机就是be 集群有开启kerberos

那 be 配置了 core-site.xml 了吗

有配置的 现在hive catalog部分表查不了 有部分表可以查看

有部分 catalog 能查?难道不同 catalog 会配置在不同的 hdfs 集群上面,然后不同的 hdfs 集群使用的是不同的 kerberos,是这样吗。

是我描述的有问题 是同一个catalog 这是创建catalog的语句

同一个hdfs catalog下边的库表 有一部分库表是可以查看的 一部分查看报 hdfsOpenFile failed kerberos是一个集群

比如test库的test1表可以查 test2表就会报错

test1 和 test2 的hdfs 集群路径一样吗

表的路径不一样 类似 /xx/xx/库名/test1 /xx/xx/库名/test2这样的

我的意思是,是不是test1 和 test2 都在同一个 hdfs 集群下面,因为担心不同 hdfs 集群的 kerberos 认证不同