数据存储在 juiceFs 上,请问下 broker load 能支持吗?创建了一个 broker load 结果报错了
type:ETL_RUN_FAIL; msg:org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme “jfs”
数据存储在 juiceFs 上,请问下 broker load 能支持吗?创建了一个 broker load 结果报错了
type:ETL_RUN_FAIL; msg:org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme “jfs”
目前不支持 juiceFs,broker load支持以下存储
我自己加了 juice 包和配置后,发现是可以导入成功的。StarRocks 版本 2.5.8
方便分享一下 操作流程么
以 2.5.x 版本为例,不部署 broker。步骤如下:
-- FE
ln -sf /usr/local/lib/juicefs-hadoop.jar /StarRocks/fe/lib/juicefs-hadoop.jar
-- BE
ln -sf /usr/local/lib/juicefs-hadoop.jar /StarRocks/be/lib/hadoop/hdfs/lib/juicefs-hadoop.jar
如果部署了 broker,就给 fe 和 broker 节点部署对应的环境就行
我们验证是不行的,报错信息如下:
ERROR 1064 (HY000): fail to connect hdfs namenode, namenode=jfs://unijfs/, err=error=Error(255): Unknown error 255, root_cause=UnsupportedFileSystemException: No FileSystem for scheme “jfs”: file = jfs://unijfs/user/hive/warehouse/tmp.db/tmp_test_create_auth_20240104/part-00000-16dead64-53e9-4f07-9329-2e7bc8106136-c000.snappy.parquet
是不是starrocks-3.2.x不支持,我用的这个版本
需要自己把依赖的 jar 包部署到 fe 和 be 的 lib 目录中