【详述】通过Datax,使用StreamLoad导入数据到StarRocks,来源端为hana,当数据量大时,任务日志会提示 Error label[737eb7b2-89e5-4245-b9d2-ceeaef2b5326] state[ABORTED]。集群中会有多个datax任务并发跑,因为数据量大的缘故,任务一般要跑2到7个小时,失败的任务并不会连带其他任务也失败。
【背景】目前仅修改了datax json中的loadUrl,由原来的一个改成了三个
【业务影响】
【StarRocks版本】2.8.5
【集群规模】例如:3fe(3 follower)+3be(fe与be混部)
【机器信息】CPU虚拟核/内存: 16C/128G
【表模型】例如:主键模型
【导入或者导出方式】StreamLoad导入
【联系方式】为了在解决问题过程中能及时联系到您获取一些日志信息,请补充下您的联系方式
我的邮箱为lei.song@hand-china.com,汉得&StarRocks合作交流群宋蕾
【附件】
- 通过报错的label,我们找到了be的报错日志,如下图所示:
- 通过报错的label,我们找到了fe的报错日志,如下图所示: