查询hive外部表速度慢

Starrocks 运行速度慢
当有一个大sql在查询时,一个普通的sql查询会特别慢,查看cpu和内存,都未达到瓶颈
大表profile
sql1.txt (48.2 KB)

普通sql profile
sql2.txt (26.2 KB)

单独运行普通sql2 只需要毫秒级别,profile如下:
sql3.txt (26.3 KB)

starrocks 版本:2.5.1

发下cpu和io的监控

这台机器上面没有其他任务运行,新机器, 一个fe,四个be, 当时的监控没有了,不过我观察了两个be,内存和cpu都没有打满,距离打满还很远,网络io没有观察,不过这个问题很容易复现,只要只这两个大小sql同时跑,就会复现这个问题,我再复现下,晚点把图发出来。

网络io


磁盘io
image
cpu/内存


这个是fe和be的一台机器,需要多台机器吗?我看其他机器,情况差不多,都没有打满

机器是千兆网卡

顺便补充下sql1:rows 424,142,621 size:185GB
sql2:这个比较小,几万条数据量

麻烦您在发下 这个两个sql的 profile 然后再发下执行毫秒级别的 sql2 感谢

经排查,hdfs datanode网络IO打满,但是be节点io没有打满,datanode上面其他任务占用io可以忽略,datanode网络io达到了120M,be节点只有30M,请问这个是因为be节点有计算的原因吗?