StarRocks版本 2.2.13、2.4.5、2.3.2.
我开始的时候填写成了BE的8040端口,DataX StarRockswriter 能导入成功,然后改成8030端口能导入成功,还是可以成功。
1赞
都支持,但是最好是用FE的端口,不然这个BE会是导入分发的单点。
啥意思?填写BE端口 会导致数据没有按分桶键去路由?还是数据会变成单副本?
每次StreamLoad导入,都会选一个BE做为协调结点,这个协调结点负责读数据,然后分发到其它BE。
在客户端上通过 HTTP 发送导入作业请求给 FE,FE 会通过 HTTP 重定向 (Redirect) 指令将请求转发给某一个 BE。或者,您也可以直接发送导入作业请求给某一个 BE。这个StarRocks也是支持的,但是呢不是很推荐,因为如果把导入作业请求发送给 FE,FE 会通过轮询机制选定由哪一个 BE 来接收请求,从而实现 StarRocks 集群内的负载均衡。如果是指定be接收的话,就只能写死了 ,固定给指定的be了 ,因此,还是推荐把导入作业请求发送给 FE的。
然后回到be接收请求这里,接收导入作业请求的 BE 作为 Coordinator BE,会将数据 按表结构划分、并分发数据到其他各相关的 BE。导入作业的结果信息由 Coordinator BE 返回给客户端。需要注意的是,如果您在导入过程中停止 Coordinator BE,会导致导入的作业失败。