【详述】在使用ROUTINE LOAD方式从KAFKA持续导入数据时,出现错误错误中的host地址为其中一台BE
【背景】从3.0版本升级到3.1.4版本并重启BE服务器以后仍旧出现
【StarRocks版本】3.1.4 kafka为2.4版本,使用 SASL_PLAINTEXT 安全协议和 SASL/PLAIN 认证机制
【集群规模】3fe+3be单独部署
【机器信息】至强52核,512G内存
【附件】报错.txt (1.6 KB)
按照说明排查了,说明中涉及ROUTINE LOAD的排查方法比较少,查看ReasonOfStateChanged定位原因为:ErrorReason{errCode = 4, msg=‘Job failed to fetch all current partition with error [failed to send proxy request to TNetworkAddress(hostname:154.111.1.38, port:8060) err failed to send proxy request to TNetworkAddress(hostname:154.111.1.38, port:8060) err [failed to get partition meta: Local: Broker transport failure]]’}
其中154.111.1.38:8060为一个BE的地址,感觉是任务未能发送到BE之类的原因
curl这个BE地址是通的。
按照排查步骤搜下txn id在这个be.INFO里面
这个be日志发下,我们看下
我看到错误里面有一行“failed to get parttion meta:Broker transport failure”
这个跟Broker有关吗?集群只有FE和BE,没有专门弄过Broker
大佬,问题已经解决了,原因是kafka使用了SASL_PLAINTEXT认证,需要账号密码参数,但是之前报错的账号密码中含有"@"符号,之后更换了一个没有“@”符号的账号密码,然后就不报错了。
哥,我也遇到这个问题,可是我没有@符号啊 咋整啊
我也是SASL_PLAINTEXT认证,一样的报错,密码中没有@符号。。。