【详述】查询hive外表
【背景】集群无其他操作
【StarRocks版本】2.5.3
【集群规模】例如:3fe(1 follower+2observer)+5be(fe与be混部)
【机器信息】CPU虚拟核/内存/网卡,例如:48C/64G/万兆
【联系方式】为了在解决问题过程中能及时联系到您获取一些日志信息,请补充下您的联系方式,例如:社区群4-未末
【附件】
- 慢查询:
-
Profile信息: profile.txt (29.8 KB)
-
并行度:1,修改为8后,查询速度无变化
-
pipeline是否开启:
±--------------------------------±------+
| Variable_name | Value |
±--------------------------------±------+
| enable_pipeline_engine | true |
| enable_pipeline_query_statistic | true |
| pipeline_dop | 0 |
| pipeline_profile_level | 1 |
±--------------------------------±------+ -
be节点cpu和内存使用率都未打满,hdfs datanode 网络IO打满
-
sql为 select count(1) from hive_catalog.db.table 可以排除数据倾斜
profile中iotime max值和min值相差较大;查询时间比presto慢了小10s
表:202,560,450 (12.06GB) orc存储,snappy压缩