为了更快的定位您的问题,请提供以下信息,谢谢
【详述】问题详细描述
insert语句设置不同pipeline_dop时插入行数不一致,相同的语句设置/*+ SET_VAR(“pipeline_dop”= ‘2’) /时会出现与count数据行数不同,select count()为9843786行,插入后在目的表数据平均在9780000行左右 每次插入的数据行数均不一致,在设置pipeline_dop=1或4的时候插入与查询数据量一致。
设置pipeline_dop=2时插入返回的行数
设置pipeline_dop=4时插入返回的行数
中途试过在pipeline_dop=2的场景下减少子查询的层数可以规避该问题。查看了一下不同的并行度生成的profile也是一样的
【背景】做过哪些操作?
【业务影响】插入数据漏数
【是否存算分离】
【StarRocks版本】例如:3.3.2
【集群规模】例如:3fe(1 follower+2observer)+5be(fe与be混部)
【机器信息】CPU虚拟核/内存/网卡,例如:48C/64G/万兆
【表模型】例如:主键模型
【导入或者导出方式】insert语句
insert.sql (262.2 KB)
profile.log (15.7 KB) – pipeline_dop=2的profile
profile.log (15.7 KB) – pipeline_dop=4的profile
【联系方式】社区群22 hpp
【附件】
- fe.log/be.INFO/相应截图
- 完整的报错异常栈