本地无法通过StreamLoad写入K8S中的StarRocks集群

[moody]

【详述】问题详细描述
在单台物理机上使用最新版的sr-operator-1.6.1部署sr-2.5.4集群（3be3fe）。
在本地通过flink读取kafka数据写入sr报错：java.net.UnknownHostException: sa-starrocks-be-0.sa-starrocks-be-search.starrocks.svc.cluster.local，该如何解决？

【附件】

• 报错信息
  
  

• 本机host配置

• k8s中的sr
  

  
  
  
  

• sr.yaml

apiVersion: starrocks.com/v1alpha1
kind: StarRocksCluster
metadata:
  name: sa-starrocks
  namespace: starrocks
spec:
  starRocksFeSpec:
    image: starrocks/fe-ubuntu:2.5.4
    replicas: 3
    requests:
      cpu: 1
      memory: 4Gi
    configMapInfo:
      configMapName: fe-config-map
      resolveKey: fe.conf
    storageVolumes:
      - name: fe-meta
        storageClassName: local
        storageSize: 10Gi
        mountPath: /opt/starrocks/fe/meta # overwrite the default meta path
  starRocksBeSpec:
    image: starrocks/be-ubuntu:2.5.4
    replicas: 3
    requests:
      cpu: 1
      memory: 4Gi
    configMapInfo:
      configMapName: be-config-map
      resolveKey: be.conf
    storageVolumes:
      - name: be-data
        storageClassName: local
        storageSize: 100Gi
        mountPath: /opt/starrocks/be/storage # overwrite the default data path 

[Natsume729]

报错的be-0有在/etc/hosts里配置映射么

[moody]

没有配置，该如何配置呢？文档里好像没写

[lvlouisaslia]

在哪台机器上报的错, 就在对应那台机器的/etc/hosts里加上域名解析

并且确保解析出的IP是可以连通的.

[moody]

我本地的网络和 物理机（10.30.6.73）网络是通的，starrocks集群（3fe3be）装在物理机上，本地host是图中那样配置的].

[lvlouisaslia]

都配置成一个ip不行吧，区别不出来是哪个BE

[moody]

那该如何配置呢？配置成k8s的虚拟ip？

[moody]

我就想实现本地通过IDEA连接远程k8s中的starrocks集群做产品功能调试。

[lvlouisaslia]

对, 远程的虚拟IP并且这些虚拟IP是可以直接连通的, 否则无法使用. k8s集群内部的网络默认是和外部隔离的.

[moody]

我开启了nodeport，使用k8s宿主机IP：nodeport端口，不能在本地连上容器里的starrocks吗？ 通过nodeport形式，我能在本地正常连接k8s里的kafka集群。
kafka deployment:

本地idea中的kafka连接配置：

本地idea中的starrocks连接配置：

本地host配置：

k8s集群中的starrocks信息：

本地浏览器连接信息：
使用VIP:nodeport（10.30.6.80:30425）

本地idea flink写入k8s中的starrocks报错信息：

• 其中10.30.6.80是10.30.6.70，10.30.6.68，10.30.6.67三台机器的VIP
  

  

• 奇怪的是，flink写入报错，但数据是写入到starrocks里的。
  

  

该如何避免这个报错呢？

本地/etc/hosts添加了fe的映射信息，将starrocks flink connector升级到1.2.6_flink-1.13_2.11，

报错如下：

[lvlouisaslia]

k8s的starrocks集群不是一个简单的单节点服务, 涉及到FE和BE, 在与k8s里的FE交互时, FE会返回BE在k8s的内部地址和port, 这个内部IP地址和PORT不是能用nodePort方式绕过去的. 所以会有大量网络访问相关的问题出现.

[U_1683536331477_1267]

@U_1654075414197_7021

k8s集群中的starrocks信息

你好，请问下k8s集群中的starrocks信息NodePort如何配置的？谢谢

[moody]

那该如何解决呢？

[moody]

信息如下

[U_1683536331477_1267]

这个我看到了，但是我配置了几次一直不生效，请问你是通过这个方式配置的吗？
kubectl -n starrocks edit src starrockscluster-sample

可以看下你这个配置吗，谢谢

[moody]

这个我是通过kubesphere页面操作开启nodeport做测试的，starrocks yaml里没有配置nodeport

[U_1683536331477_1267]

@U_1654075414197_7021

kubesphere

谢谢，搞定了！！！

[moody]

你那边可以在本地连接远程K8S集群里的Starrocks吗？

[U_1683536331477_1267]

开通外部访问端口，就可以了

[moody]

有测试过本地flink往k8s中的starrocks集群写数据吗