Starrocks 运行速度慢
当有一个大sql在查询时,一个普通的sql查询会特别慢,查看cpu和内存,都未达到瓶颈
大表profile
sql1.txt (48.2 KB)
普通sql profile
sql2.txt (26.2 KB)
单独运行普通sql2 只需要毫秒级别,profile如下:
sql3.txt (26.3 KB)
starrocks 版本:2.5.1
Starrocks 运行速度慢
当有一个大sql在查询时,一个普通的sql查询会特别慢,查看cpu和内存,都未达到瓶颈
大表profile
sql1.txt (48.2 KB)
普通sql profile
sql2.txt (26.2 KB)
单独运行普通sql2 只需要毫秒级别,profile如下:
sql3.txt (26.3 KB)
starrocks 版本:2.5.1
发下cpu和io的监控
这台机器上面没有其他任务运行,新机器, 一个fe,四个be, 当时的监控没有了,不过我观察了两个be,内存和cpu都没有打满,距离打满还很远,网络io没有观察,不过这个问题很容易复现,只要只这两个大小sql同时跑,就会复现这个问题,我再复现下,晚点把图发出来。
网络io

机器是千兆网卡
顺便补充下sql1:rows 424,142,621 size:185GB
sql2:这个比较小,几万条数据量
麻烦您在发下 这个两个sql的 profile 然后再发下执行毫秒级别的 sql2 感谢
经排查,hdfs datanode网络IO打满,但是be节点io没有打满,datanode上面其他任务占用io可以忽略,datanode网络io达到了120M,be节点只有30M,请问这个是因为be节点有计算的原因吗?