使用broker从sr导出数据到hdfs异常

【详述】使用broker从sr导出数据到hdfs异常,没有特殊操作
【StarRocks版本】2.1.2
【hdfs版本】cdh6.0.1 —>hdfs:3.0.0
过程:
1、客户端执行以下导出命令:
1648014035(1)
2、导出过程中,查看hdfs目录下的变化,发现有生成临时文件:


3、然后查看任务状态,出现异常如下:

4、然后查看hdfs目录下,没有任务文件。

不确定是该错误是什么原因,麻烦看看,谢谢!

补充broker日志:






请问这个问题是权限的问题吗?我的sr集群和hdfs的集群,只有8020和22这两个端口是通的,还需要其他端口吗?

确认下这个datanode没问题吧?需要开放datanode允许broker 的ip访问

这个datanode是正常的。需要broker 的ip访问,是需要9866这个端口的权限吗?
我的sr集群和hdfs的集群,目前只开了从broker到hdfs的8020和22这两个端口权限,需要其他的吗

@jingdan

不能限制端口,要么就是开放一个比较大的端口范围允许broker去写

有具体要求哪些端口吗,因为看不到这块文档没有介绍具体是需要哪些端口。我们的sr和hdfs是两个不同的集群,能告知一下具体需要broker的集群到hdfs的集群的哪些端口吗

broker写hdfs这块应该是随机端口,要开的话就需要开1024–65535了

我看文档介绍,这部分,是通过broker服务所在的机器,去往hdfs写数据是吧,那是不是只需要broker所在的机器到hdfs的节点的这些端口就行?不需要sr的全部机器到hdfs是吧?

@jingdan

开了9866端口,上传成功了,谢谢

是的,只需要开放broker的就行