通过broker load导入主键模型数据,开启partial_update=true, 导入任务卡死

为了更快的定位您的问题,请提供以下信息,谢谢
【详述】通过broker load导入主键模型数据,开启partial_update=true,偶发性会导入任务卡死
【背景】主键模型表大概有6亿数据,通过Broker load每天导入3千万数据, 一次性导入少量数据没有问题, 并且设置partial_update=true, 偶发性这个load任务会一直处于loading状态
【业务影响】数据无法更新
【是否存算分离】否
【StarRocks版本】例如:3.1.5
【集群规模】例如:3fe(1 follower+2observer)+3be(fe与be混部)
【机器信息】64C/256G/12TB * 3
【联系方式】445003787@qq.com
【附件】




PartialUpdateState tablet xxxx segment: 1 #row 4437(#non-default:4452) #column:11 time: 11002ms(index:3314/value:7706)

如果导入卡住的话, 从be.INFO日志里能看到这个time花费时间特别长

改为stream load导入数据

这个版本貌似有个pipeline的问题,set enable_pipeline_engine = false; 再提交试试。

麻烦问下,这里具体是什么问题,需要关闭pipeline

@夏天12

你先试一下,全局的关闭enable_pipeline_engine验证下 ,set global enable_pipeline_engine = false;

怀疑是老版本的一个bug,大批量数据经过broker load时,出现卡在99%