查询hive2外部表Hang住

【StarRocks版本】例如:2.2.2
【集群规模】例如:3fe + 3be(fe与be混部)

drop resource hive0;

CREATE EXTERNAL RESOURCE “hive0”
PROPERTIES (
“type” = “hive”,
“hive.metastore.uris” = “thrift://test-002.test-hadoop.com:9083”
);

CREATE EXTERNAL TABLE ext_zhaohe (
id bigint
) ENGINE=HIVE
PROPERTIES (
“resource” = “hive0”,
“database” = “test”,
“table” = “zhaohe”
);

查询hive2外表时,就一直卡住,这个表就1条数据,be fe 也没有任何报错信息。 请问这个要怎么排查

麻烦提供下fe的日志和be日志

be.INFO.gz (1.2 MB) be.out.gz (742 字节) be.WARNING.gz (2.7 KB)

fe.audit.log.gz (1.7 KB) fe.log.gz (792.1 KB) fe.warn.log.gz (3.4 KB)

请问下几个fe呢,发的这个fe的日志中没有ext_zhaohe的查询日志

部署了3个,然后我把另外2个DROP掉了,现在就一个了,执行查询后,查看日志找不到ext_zhaohe的查询数据。 :joy: 有没有方向该怎么查啊。。这边等着同步数据测试完。 然后搭建生产环境。

看下fe.out里面有什么信息吗?现在查询也是一直卡住?

show frontends截图看下

这次一直跑着,结果报错了:

ERROR 1064 (HY000): HdfsOrcScanner::do_open failed. reason = Failed to read hdfs://qccnn1/data/hive/warehouse/test.db/zhaohe/000000_0: IO error: fail to hdfsPreadFully hdfs://qccnn1/data/hive/warehouse/test.db/zhaohe/000000_0: error=Error(255): Unknown error 255, root_cause=BlockMissingException: Could not obtain block: BP-471290270-172.18.132.201-1634780433952:blk_1076143888_2403280 file=/data/hive/warehouse/test.db/zhaohe/000000_0

过滤日志:

fe.out 好像没什么有用的信息

解决了,是因为ip段不通的问题。

测试hadoop集群机器有2个网卡, 和其中一个网卡不通。。

在hive创建表的时候 location 指定通的ip地址就可以了。

1赞

之前指定的location,starrocks的机器可以连通端口?创建resource的时候没有报错?

是的,没有报错。创建resource的时候用的通的那个ip段