broker load导入hdfs报错

U_1690784921792_3342 · 2023年08月28日 08:10

【详述】配置load作业导入sr报错
【背景】把hdfs-site core-site hive-site都拷贝到了 fe be broker conf目录下启动脚本相关的krb5也都配置了
【业务影响】无法把hdfs数据导入sr
【StarRocks版本】3.0.04
【集群规模】3fe + 3be
【机器信息】36C/128G/千兆
【联系方式】社区群14-伴梦
【附件】
broker conf目录截图

load作业相关配置

报错日志
type:ETL_RUN_FAIL; msg:invalid load_properties, namenode HA should be set in hdfs/core-site.xmlfor load without broker. For broker load with broker, you can set namenode HA in the load_properties

Doni · 2023年08月28日 12:27

sr集群有部署broker 进程么，HA的需要有broker的导入，即导入语句中需要写
with broker broker_name (这块broker_name是部署broker进程时配置的名字，可通过 show brokers 查看 )

U_1690784921792_3342 · 2023年08月29日 01:36

有部署brokers 但是没有指定brokers名字这个name就是broker_name吗

夏天12 · 2023年08月29日 01:39

WITH BROKER broker_name

夏天12 · 2023年08月29日 01:40

不过3.0+的版本，好像不需要指定broker名字的吧？

U_1690784921792_3342 · 2023年08月29日 01:46

指定了broker的名字应该是可以过去了现在报别的错了应该是需要指定的把

夏天12 · 2023年08月29日 01:45

3.0+版本不需要，不过既然可以成功了，那么现在报什么错了？

夏天12 · 2023年08月29日 01:46

U_1690784921792_3342 · 2023年08月29日 01:49

报错是

感觉是三台broker的kerberos_principal主题不一样的原因把也不知道怎么指定大佬有遇到过吗我们的主题是hive/host1@HADOOP.COM hive/host2@HADOOP.COM 类似这样的

夏天12 · 2023年08月29日 02:15

这个地方写的是hive这边的用户信息，

WITH BROKER broker_name (
“hadoop.security.authentication” = “kerberos”,
“dfs.client.failover.proxy.provider.【HDFS名称空间】” = “org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider”,
“kerberos_principal” = “【HIVE用户】@【principal】”,
“dfs.namenode.rpc-address.【HDFS名称空间】.nn2” = “【namenode】:8020”,
“dfs.namenode.rpc-address.【HDFS名称空间】.nn1” = “【namenode】:8020”,
“kerberos_keytab” = “/opt/keytab/.【HIVE用户】.keytab”,
“dfs.nameservices” = “【HDFS名称空间】”,
“dfs.ha.namenodes.【HDFS名称空间】” = “nn1,nn2”
)
PROPERTIES (
“max_filter_ratio” = “0.001”,
“timeout” = “17200”
)

U_1690784921792_3342 · 2023年08月29日 02:04

我是这样写的但是hive/主机名这里三台broker和fe的都不一样我写hive@HADOOP.COM试试吧

U_1690784921792_3342 · 2023年08月29日 02:07

还是不太行写hive/host* 这样通配符也不行

jingdan · 2023年08月29日 03:16

klist -kt /path/xxx.keytab看下keytab里面是包含哪些kerberos账号的，然后principal里面指定下

U_1690784921792_3342 · 2023年08月29日 03:26

这是第一台这是第二台每台的都不一样

U_1690784921792_3342 · 2023年08月29日 03:28

我这个具体应该怎么指定princpal呐

jingdan · 2023年08月29日 06:21

每台不一样的话，只能利用其中一台来导入数据了，另外需要指定broker的名字，指定到与kerberos账号对应的keytab所在的broker节点

U_1690784921792_3342 · 2023年08月29日 06:01

这样可以了，如何能指定一个broker节点的broker名字呐，这样同keytab不同princpal的场景有后续支持的计划吗

U_1690784921792_3342 · 2023年08月29日 06:02

就指定红框中的名字应该如何配置呐

jingdan · 2023年08月29日 06:09

可以alter新增一个名字不一样的，同一个broker可以有不同的名字

jingdan · 2023年08月29日 06:21

这个是kerberos认证的限制，如果你们的kerberos账号是跟机器绑定了，换一台机器都没办法认证了。除非你们生成一个跟机器不绑定的kerberos账号和keytab