【详述】在有几十个并发查询的情况下,pipeline_dop设置为0时,所有be节点的cpu使用率会到70%以上,单条SQL的查询时间在15秒以上,QPS在10以下;pipeline_dop设置为1时,只有一个be节点的cpu使用率达到90%,其他be节点cpu使用率在20%左右,查询速度可以在10秒以内,QPS在30-50之间。把所有查询都停了,单独只执行一条SQL,查询速度在1秒以内。
【背景】查看分区的桶文件分布,从数量上看是均匀分布在各个be节点上的。
【业务影响】pipeline_dop设置为0,各节点CPU使用率均匀,但查询缓慢;pipeline_dop设置为1,查询快一些,但cpu使用率倾斜。尝试将pipeline_dop设置为4,8,16;当pipeline_dop>=8时,效果和pipeline_dop=0差不多。
【是否存算分离】否
【StarRocks版本】3.4.0
【集群规模】3fe(1Leader + 2 follower)+5be(fe与be混部)
【机器信息】192C/256G/万兆
【联系方式】社区群13-北冥有鱼;360186692@qq.com
【附件】
- Profile信息,1705c0c7-f01f-11ef-90a4-48d539f5a1e9profile (1).txt (71.2 KB)
- 并行度:parallel_fragment_exec_instance_num=1;pipeline_dop=1;
- pipeline是否开启:是
- be节点cpu和内存使用率截图