StarRocks2.3.2 pipeline引擎性能问题


15:41开启了pipeline,差距很明显

关闭pipeline (162.0 KB)
关闭了pipeline,400多ms,差了一倍多

打开 pipeline 引擎,然后 set global pipeline_dop = 5,再试试看呢?

ok,我先用session级别试了一下,设置为5后这条语句的查询效率和不开差不多了,我现在全局打开了,稍等十几分钟看看效果

不行,慢查询大突刺

方便再上传一个 pipeline_dop = 5 时慢查询的 profile 看看吗?

dop5 (1.4 MB)

dop5对应不开 (121.7 KB)

这是不开的,160ms,性能也是差了一倍多

刚刚这个关闭 pipeline,不也是 400 多 ms 吗?

和前面dop=1的不是相同的SQL,因为慢查询是周期性扎堆出现,不是固定的某一条SQL,所以我是先从fe ui里找到慢查询的profile,再根据profile里的sql去生成一个不开pipeline的profile

可以看看这个图,开启pipeline后每5分钟的第8秒左右,慢查询扎堆出现几百条。并且这些查询自身没有异常,在非这个时间段进行执行也没有较大的性能问题。

看这个查询数量图的话,每过 5min,查询数量会突然增加 1000~2000 吗?

set global pipeline_dop = 5;
set global pipeline_profile_level=1;

再试试看呢?看 profile 中,收集 pipeline 的 profile 花费了 200ms。

Collect Profile Time: 238ms

ok,我再试一试

image
还是变慢了,但是这次变慢的不是和明显,没有5分钟集中出现一波的情况,而是整体变慢了,我把上报profile关掉了,看看是不是这个东西引起的。

不行,顶不住,慢查询比例从0.7%升高到了3.87%

按照这个配置,5分钟突刺的现象没了,但是新的现象就是慢查询一直出现,之前除了突刺的那几秒,其余时间慢查询很少的,改完配置慢查询基本上每秒都有了

image
这段时间是改配置后的慢查询数量图