【详述】跨服务器的数据同步问题.
现在业务库表(Postgresql)在华为云,现在我们需要在公司机房(测试库)上安装并部署Starrocks测试库,通过华为云自己部署的datax和海豚调度器来实现从业务库同步数据到Starrocks测试库.
现通过datax,走外网(华为云业务库和公司机房只能走外网)形式同步数据,
datax部分配置文件为下图:
,为了防止安全问题,外网下fe,be放行端口为28040,28030.会重定向到内网 8030 和8040端口.
现在出现问题:
后面通过更改Starrocks的LoadURL后正常导入:
但是3.2.10文档上是:
【背景】现在业务库表(Postgresql)在华为云,现在我们需要在公司机房(测试库)上安装并部署Starrocks测试库,通过华为云自己部署的datax和海豚调度器来实现从业务库同步数据到Starrocks测试库.
【业务影响】
【是否存算分离】
【StarRocks版本】例如:3.2.10
【集群规模】例如:3fe(2 follower+1 leader)+3be(fe与be混部)
【机器信息】CPU虚拟核/内存/网卡:16C/64G/万兆
【表模型】例如:主键模型
【导入或者导出方式】例如:Postgresql ==> Starrocks (Datax方式,内置streamLoad)
【联系方式】yaoquanxin@xueji.com