hive 外表 IOTime max和min相差较大,查询速度比presto慢

【详述】查询hive外表
【背景】集群无其他操作
【StarRocks版本】2.5.3
【集群规模】例如:3fe(1 follower+2observer)+5be(fe与be混部)
【机器信息】CPU虚拟核/内存/网卡,例如:48C/64G/万兆
【联系方式】为了在解决问题过程中能及时联系到您获取一些日志信息,请补充下您的联系方式,例如:社区群4-未末
【附件】

  • 慢查询:
    • Profile信息: profile.txt (29.8 KB)

    • 并行度:1,修改为8后,查询速度无变化

    • pipeline是否开启:
      ±--------------------------------±------+
      | Variable_name | Value |
      ±--------------------------------±------+
      | enable_pipeline_engine | true |
      | enable_pipeline_query_statistic | true |
      | pipeline_dop | 0 |
      | pipeline_profile_level | 1 |
      ±--------------------------------±------+

    • be节点cpu和内存使用率都未打满,hdfs datanode 网络IO打满

sql为 select count(1) from hive_catalog.db.table 可以排除数据倾斜
profile中iotime max值和min值相差较大;查询时间比presto慢了小10s

表:202,560,450 (12.06GB) orc存储,snappy压缩

看着是scan层有倾斜或者某个datanode负载很高导致扫描慢了

看起来和我遇到的问题类似 Hive外表相同sql偶尔查询缓慢