【详述】
StarRocks版本从2.4.4升级至2.5.20后,原有StarRocks export导出数据至OSS任务失败,一直处于EXPORTING 100%状态。
【背景】
随着行为数据的增长,原有StarRocks FE与BE混合部署的场景下,FE与BE资源存在抢占情况。在该背景下,申请了3台物理机单独部署FE,并将原来的FE迁移至新机器(跨网段,网络通),同时升级StarRocks版本到2.5.20。
原有系统依赖StarRocks Export数据导出功能,每天脚本会将T+1符合条件的数据推送至下游OSS,升级后测试、生产环境数据导出都出现失败情况,测试环境无扩容
使用WITH BROKER “brokername”、WITH BROKER都测试过导入失败;
数据导出任务差异:数据导出Export 任务执行客户端为迁移后的SR FE 9030(telnet oss网络通);
从日志来看,hostname、host解析异常。Cannot resolve hostname dl-bucket.ip地址 ,result of gethostbyname_r is NULL,其他错误:Invalid host=dl-bucket.ip地址
【业务影响】
现有生产环境、测试环境数据推送失败,下游暂无数据,严重影响下游业务
【是否存算分离】
否
【StarRocks版本】2.5.20
【集群规模】3fe(2follower+1leader)+ 10+be
【机器信息】CPU虚拟核/内存/网卡,例如:104C/256G/内网
【表模型】-
【导入或者导出方式】StarRocks 自带EXPORT
【联系方式】社区群5-扁担猫,谢谢~
【附件】
涉及环境信息,相关截图请见内部群或单独联系。
fe是有多网卡吗? 麻烦提供下对应的export语句和日志中的具体报错