【BE异常】执行sql返回异常BE has overloaded with 81924 pipeline drivers backend

为了更快的定位您的问题,请提供以下信息,谢谢
【详述】执行sql查询操作,FE返回异常错误:BE has overloaded with 81924 pipeline drivers backend。
【背景】BE相关配置varz (13.4 KB)
【业务影响】
【StarRocks版本】2.5.10
【集群规模】3fe(1 follower+2observer)+3be
【机器信息】CPU虚拟核/内存/网卡,例如:48C/64G/万兆
【联系方式】为了在解决问题过程中能及时联系到您获取一些日志信息,请补充下您的联系方式,例如:社区群4-小李或者邮箱,谢谢
【附件】

这个是由于并发高导致,当前对于pipeline driver有个限制避免被打满,可以调整pipeline_dop调小,避免这个报错。BE 有一个对 pipeline driver 数量的限制,提交的 dirver 数量大于 vCPUs*config.pipeline_max_num_drivers_per_exec_thread 时,查询会直接报错。
目前 pipeline_max_num_drivers_per_exec_thread 默认是 10240.一般是并发高导致的,不会导致 BE crash,除非查询并发高导致 OOM 了。如果想允许更多的 driver 提交的话,可以调大 conf/be.conf pipeline_max_num_drivers_per_exec_thread

2赞