2.5.16查询hive外部表不支持OBS

[zck_kcz]

为了更快的定位您的问题，请提供以下信息，谢谢
【详述】问题详细描述
【背景】做过哪些操作？
【业务影响】
【是否存算分离】
【StarRocks版本】例如：2.5.16
【集群规模】例如：3fe（2 follower）+3be（fe与be混部）
【机器信息】CPU虚拟核/内存/网卡，例如：32C/128G/万兆
【联系方式】为了在解决问题过程中能及时联系到您获取一些日志信息，请补充下您的联系方式，例如：社区群4-小李或者邮箱，谢谢
【附件】

• fe.log/beINFO/相应截图
• 慢查询：
  • Profile信息，获取Profile，通过Profile分析查询瓶颈
  • 并行度：show variables like ‘%parallel_fragment_exec_instance_num%’;
  • pipeline是否开启：show variables like ‘%pipeline%’;
  • be节点cpu和内存使用率截图
• 查询报错：
  • query_dump，怎么获取query_dump文件
• be crash
  • be.out
  • coredump，如何获取coredump
• 外表查询报错
  • be.out和fe.warn.log

[42000][1064] Failed to get remote files, msg: com.starrocks.connector.exception.StarRocksConnectorException: Failed to get hive remote file’s metadata on path: RemotePathKey{path=‘obs******/dt=2023-11-17’, isRecursive=true}. msg: No FileSystem for scheme “obs”

[yuchen1019]

发下创建的语句呢 只要是支持S3 协议的对象存储 都是支持的

[zck_kcz]

大佬 我来了 你还在嘛

[zck_kcz]

CREATE EXTERNAL CATALOG hive_catalog_hms
PROPERTIES
(
“type” = “hive”,
“hive.metastore.type” = “hive”,
“hive.metastore.uris” = “thrift://ip:9083”,
“aws.s3.enable_ssl” = “true”,
“aws.s3.enable_path_style_access” = “true”,
“aws.s3.endpoint” = “https://obs.endpoint”,
“aws.s3.access_key” = “ak”,
“aws.s3.secret_key” = “sk”
);

SET CATALOG hive_catalog_hms;

USE hive_catalog_hms.ods_enterprise;

select count(1) from tables
where
dt between ‘2023-11-17’ and ‘2023-11-18’;

[yuchen1019]

可以升级到3.1版本 或者使用coresite 加配置的方式