已用一段时间的Starrocks集群支持修改FE、BE的相关端口号吗

💬 StarRocks 用户问答
#1

【StarRocks版本】3.1.2-4f3a2ee
【集群规模】3个FE，3个BE，混合部署，存算一体
【服务器配置】16C，64G内存，500G硬盘，万兆网络，共3台
【联系方式】本站
【问题】
为便于运维管理，已用一段时间的Starrocks集群要修改FE、BE相关端口号，修改的流程是将starrocks集群角色都关闭，然后修改各个FE、各个BE的配置文件里的那些端口号，接着重启starrocks集群各个FE和BE就可以是吗，有相关流程文档吗，修改后会有什么潜在问题或风险吗？

【FE相关端口号】
http_port： 8030 修改为 18030
rpc_port： 9020 修改为 19020
query_port： 9030 修改为 19030
edit_log_port： 9010 修改为 19010

【BE相关端口号】
be_port： 9060 修改为 19060
be_http_port： 8040 修改为 18040
heartbeat_service_port： 9050 修改为 19050
brpc_port： 8060 修改为 18060

#2

BE没有问题, FE有问题.

#3

FE相关端口号 如果是在一开始部署时就都改的话，FE会有问题吗？

【FE相关端口号】
http_port： 8030 修改为 18030
rpc_port： 9020 修改为 19020
query_port： 9030 修改为 19030
edit_log_port： 9010 修改为 19010

#4

部署时可以使用非默认端口号，部署后再修改fe端口会有问题

#5

当时部署的方式是存算一体模式的手动部署，有卸载重装starrocks的相关文档吗？

#6

FE可以通过"新部署添加fe follower, 删除旧的节点"方式一台一台替换掉.

#7

新部署添加的fe follower的4个端口改为以下新端口，那新部署添加的fe与原来的Leader fe通讯会存在问题吗？
【FE相关端口号】
http_port： 8030 修改为 18030
rpc_port： 9020 修改为 19020
query_port： 9030 修改为 19030
edit_log_port： 9010 修改为 19010

#8

不会, 添加一台删除一台, 直到所有旧节点全部下线.

#9

由于还是在原来的那3台上部署，所以可以删除一台再添加一台吗，这样会有问题吗？

#10

可以的. 不过要修改部署的目录, 不能重用原先的目录

#11

我的starrocks是解压到“/opt/software/”目录下，即fe的fe.conf文件在“/opt/software/starrocks/fe/conf/”目录下，而fe的元数据目录是在“/mnt/data/starrocks/fe/meta”目录下，您是说fe的元数据目录不能重用，还是fe的元数据目录和fe.conf所在目录都不能重用呢？

#12

新部署的FE在单独的路径下, 不要复用旧的节点的元数据目录. 主要是fe/meta fe/log两个目录

#13

修改BE的4个端口的流程是如下所示吗？
1、将starrocks集群角色都关闭；

2、修改各个BE的配置文件里的那些端口号为如下：
be_port： 9060 修改为 19060
be_http_port： 8045 修改为 18040
heartbeat_service_port： 9050 修改为 19050
brpc_port： 8060 修改为 18060

3、重启starrocks集群各个FE和BE服务

我用上述的流程进行修改BE的端口后，然后执行“show proc ‘/backends’\G”查看，显示信息如下，3个BE的“Alive”都是false，且端口还显示的是原来的端口。BE修改端口，要用“ALTER SYSTEM DECOMMISSION backend”命令删除一台，再添加一台是吗？

mysql> show proc ‘/backends’\G
*************************** 1. row ***************************
BackendId: 11245
IP: 192.168.8.106
HeartbeatPort: 9050
BePort: 9060
HttpPort: 8045
BrpcPort: 8060
LastStartTime: 2023-11-29 14:10:59
LastHeartbeat: 2023-11-29 14:10:59
Alive: false
SystemDecommissioned: false
ClusterDecommissioned: false
TabletNum: 314
DataUsedCapacity: 0.000 B
AvailCapacity: 466.694 GB
TotalCapacity: 492.027 GB
UsedPct: 5.15 %
MaxDiskUsedPct: 5.15 %
ErrMsg:
Version: 3.1.2-4f3a2ee
Status: {“lastSuccessReportTabletsTime”:“N/A”}
DataTotalCapacity: 466.694 GB
DataUsedPct: 0.00 %
CpuCores: 8
NumRunningQueries: 0
MemUsedPct: 0.05 %
CpuUsedPct: 0.1 %
*************************** 2. row ***************************
BackendId: 10005
IP: 192.168.8.107
HeartbeatPort: 9050
BePort: 9060
HttpPort: 8045
BrpcPort: 8060
LastStartTime: 2023-11-29 14:10:08
LastHeartbeat: 2023-11-29 14:10:08
Alive: false
SystemDecommissioned: false
ClusterDecommissioned: false
TabletNum: 122
DataUsedCapacity: 0.000 B
AvailCapacity: 251.987 GB
TotalCapacity: 349.828 GB
UsedPct: 27.97 %
MaxDiskUsedPct: 27.97 %
ErrMsg:
Version: 3.1.2-4f3a2ee
Status: {“lastSuccessReportTabletsTime”:“N/A”}
DataTotalCapacity: 251.987 GB
DataUsedPct: 0.00 %
CpuCores: 4
NumRunningQueries: 0
MemUsedPct: 0.00 %
CpuUsedPct: 0.0 %
*************************** 3. row ***************************
BackendId: 11246
IP: 192.168.8.108
HeartbeatPort: 9050
BePort: 9060
HttpPort: 8045
BrpcPort: 8060
LastStartTime: 2023-11-29 14:11:04
LastHeartbeat: 2023-11-29 14:11:04
Alive: false
SystemDecommissioned: false
ClusterDecommissioned: false
TabletNum: 312
DataUsedCapacity: 0.000 B
AvailCapacity: 466.694 GB
TotalCapacity: 492.027 GB
UsedPct: 5.15 %
MaxDiskUsedPct: 5.15 %
ErrMsg:
Version: 3.1.2-4f3a2ee
Status: {“lastSuccessReportTabletsTime”:“N/A”}
DataTotalCapacity: 466.694 GB
DataUsedPct: 0.00 %
CpuCores: 8
NumRunningQueries: 0
MemUsedPct: 0.03 %
CpuUsedPct: 0.1 %

#14

@lvlouisaslia @jingdan @dongquan 技术老师们，这个问题帮忙看一下，在线急等，谢谢

#15

fe和be都要这样操作呀，下线一台，改完端口，再重新加入集群，一台一台操作，赶紧把配置都回滚吧

#16

好的，感谢您的回复

#17

今天尝试通过添加一台fe（fe的4个端口已修改），然后删除一台旧fe, 直到所有fe旧节点全部下线，这样的方式，但在操作第一台新添加的fe的过程中遇到了问题，
新部署的fe follower的4个端口已修改为以下端口，

http_port： 8030 修改为 18030
rpc_port： 9020 修改为 19020
query_port： 9030 修改为 19030
edit_log_port： 9010 修改为 19010

然后加入集群：
ALTER SYSTEM ADD FOLLOWER “192.168.8.104:19010”;

接着启动新部署的fe节点：
/opt/software/starrocks/fe/bin/start_fe.sh --helper 192.168.8.107:9010 --daemon

查看新添加的fe的状态，“Join”和“Alive”一直显示 false，请问这种情况如何处理呢？
mysql> SHOW PROC ‘/frontends’\G
…
*************************** 4. row ***************************
Name: 192.168.8.104_19010_1701333098132
IP: 192.168.8.104
EditLogPort: 19010
HttpPort: 8030
QueryPort: 0
RpcPort: 0
Role: FOLLOWER
ClusterId: 503331877
Join: false
Alive: false
ReplayedJournalId: 0
LastHeartbeat: NULL
IsHelper: true
ErrMsg:
StartTime: NULL
Version: NULL

【新添加的fe的fe.log日志显示如下】
2023-11-30 16:31:53,382 WARN (main|1) [NodeMgr.getClusterIdAndRoleOnStartup():307] current node is not added to the group. please add it first. sleep 5 seconds and retry, current helper nodes: [192.168.8.107:9010]
2023-11-30 16:31:58,385 WARN (main|1) [NodeMgr.getFeNodeTypeAndNameFromHelpers():504] failed to get fe node type from helper node: 192.168.8.107:9010.
java.net.ConnectException: Connection refused (Connection refused)

【附：所有fe的状态】
mysql> SHOW PROC ‘/frontends’\G
*************************** 1. row ***************************
Name: 192.168.8.107_9010_1697364985232
IP: 192.168.8.107
EditLogPort: 9010
HttpPort: 8030
QueryPort: 9030
RpcPort: 9021
Role: LEADER
ClusterId: 503331877
Join: true
Alive: true
ReplayedJournalId: 1477600
LastHeartbeat: 2023-11-30 17:13:19
IsHelper: true
ErrMsg:
StartTime: 2023-11-29 14:56:53
Version: 3.1.2-4f3a2ee
*************************** 2. row ***************************
Name: 192.168.8.106_9010_1698978353186
IP: 192.168.8.106
EditLogPort: 9010
HttpPort: 8030
QueryPort: 9030
RpcPort: 9021
Role: FOLLOWER
ClusterId: 503331877
Join: true
Alive: true
ReplayedJournalId: 1477602
LastHeartbeat: 2023-11-30 17:13:19
IsHelper: true
ErrMsg:
StartTime: 2023-11-29 14:56:54
Version: 3.1.2-4f3a2ee
*************************** 3. row ***************************
Name: 192.168.8.108_9010_1701331814389
IP: 192.168.8.108
EditLogPort: 9010
HttpPort: 8030
QueryPort: 9030
RpcPort: 9021
Role: FOLLOWER
ClusterId: 503331877
Join: true
Alive: true
ReplayedJournalId: 1477600
LastHeartbeat: 2023-11-30 17:13:19
IsHelper: true
ErrMsg:
StartTime: 2023-11-30 16:10:54
Version: 3.1.2-4f3a2ee
*************************** 4. row ***************************
Name: 192.168.8.104_19010_1701333098132
IP: 192.168.8.104
EditLogPort: 19010
HttpPort: 8030
QueryPort: 0
RpcPort: 0
Role: FOLLOWER
ClusterId: 503331877
Join: false
Alive: false
ReplayedJournalId: 0
LastHeartbeat: NULL
IsHelper: true
ErrMsg:
StartTime: NULL
Version: NULL

@jingdan @dongquan @lvlouisaslia @Doni 技术老师们，这个问题帮忙看一下，在线急等，谢谢

#18

HTTP PORT的问题, 启动默认用了配置里的HTTP PORT, 如果你有一台机器的轮转, 可以先不改HTTP port, 保留8030, 等所有都替换完成后再改http port, restart

#19

好的，我试一下，感谢您的回复

#20

您好 可以参考一下您的部署过程吗？ :bowing_woman:

京ICP备2022026421号-1