【详述】可以正常创建external catalog,也可以show databases 和 show tables,但是无法查询数据,客户端界面没有报错信息,会一直持续到sql超时
【背景】配置了hdfs-site.xml
【业务影响】
【StarRocks版本】2.4
【集群规模】阿里云DataLake 集群,hdfs高可用场景,StarRocks 是阿里云Serverless StarRocks
【机器信息】SR集群 3FE(8CU ) 3BE(16CU) DataLake集群:3 master(12CU 48GB) 3 core(12CU 48GB)
【联系方式】17636250124@163.com
【附件】
hive catalog创建sql:
CREATE EXTERNAL CATALOG hive
PROPERTIES
(
“type” = “hive”,
“hive.metastore.uris” = “thrift://:9083,thrift://:9083,thrift://***:9083”,
“enable_metastore_cache” = “true”,
“metastore_cache_refresh_interval_sec”=“30”
);
hive customer 表中是有数据的是吧 请发下完整的be.INFO16点以后的日志
customer 是有数据的
您这个集群是2.4的哪个小版本
版本是2.4.4
2.5版本的集群也尝试过,同样不行
hive 中数据是什么格式?网络是通的么?telnet 一下hive metastore ip 9083, StarRocks 集群能够正常访问 Hive 的文件存储及元数据服务么? hdfs-site.xml 文件放到每个 FE 的 $FE_HOME/conf 路径下、以及每个 BE 的 $BE_HOME/conf 路径下么?
数据格式是CSV,网络是通的,hdfs-stie.xml也是分发好的,SR访问hive元数据应该是没有问题的,可以正常查询hive的database和表,就是没法查数据
有什么解决方案吗?
我这两天也遇到了这个问题,通过be.out查看报错是由于starrocks集群和hive集群的一个网段不同导致的(hive集群是分内外两个网段)。打通了就好了
be.out 的报错日志:
BlockMissingException: Could not obtain block: BP-471290270-ip打码-1634780433952:blk_1082282200_8543293 file=/data/hive/warehouse/hive_tmp.db/test_gaoshi_20230614/000000_0org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-471290270-ip打码-1634780433952:blk_1082282200_8543293 file=/data/hive/warehouse/hive_tmp.db/test_gaoshi_20230614/000000_0


