starrocks3.1-rc使用s3协议连接minio中的paimon表的catalog的问题

为了更快的定位您的问题,请提供以下信息,谢谢
【详述】使用Kubernetes Operator 的方式部署starrocks3.1-rc,使用的镜像为ubuntu:3.1.0-rc-latest,无法通过starrocks连接到minio中paimon的catalog,使用的minio的s3 api连接,在创建database报错:org.apache.paimon.fs.UnsupportedSchemeException: Could not find a file io implementation for scheme ‘s3’ in the classpath. Hadoop FileSystem also cannot access this path ‘s3://paimon-storage/warehouse/test’。按照官网的示例配置,我们集群是没有hadoop环境的。
【StarRocks版本】starrocks3.1-rc
【集群规模】3fe+3be
【附件】


您试下 s3a://

我在使用starrocks封装的镜像使用s3a://也是相同的错误,但是我参考starrocks官网下:Hive使用 S3 作为存储系统,这个文档,配置了 core-site.xml,并拷贝到$FE_HOME/conf/目录下后使用s3a://可以查到库,也能看到表,但是会有两个问题。

1.可以查到库和表,但是查不到表内容,错误内容:
2023-08-01 02:20:43,866 WARN (thrift-server-pool-56|256) [Coordinator.updateFragmentExecStatus():1524] exec state report failed status=errorCode INTERNAL_ERROR Failed to open the off-heap table scanner.: file = , query_id=0451854a-3012-11ee-871f-0242ac110002, instance_id=0451854a-3012-11ee-871f-0242ac110004
2023-08-01 02:20:43,867 WARN (starrocks-mysql-nio-pool-2|149) [Coordinator.getNext():1402] query failed: Failed to open the off-heap table scanner.: file =
我在使用trino是可以查到内容的。

2.配置core-site.xml后即使不在创建catalog配置aws参数都可以查询到库和表。


image


元数据是可以解析到了,就是查询数据有问题,是StarRocks查询对表有要求吗。

收到 ,我先看一下


我能查到空表,就是查不到有数据的表,我是用的paimon catalog外表访问的,按照starrocks的示例操作的创建的catalog。
建表语句为:
CREATE TABLE IF NOT EXISTS word_count (
word STRING PRIMARY KEY NOT ENFORCED,
cnt BIGINT
);
数据就是一个简单的聚合
image
这个是用trino查到的数据,我们之前用trino422的版本也是类似的问题,只要有数据就查数据报错,但是空表可以查到,之后我们换到trino388就好了

hello,麻烦发一下be下的be.log和jnj.log 相关日志

log.zip,这个是每个节点的log文件

已经定位问题了,后面新版本会修复。