集群查询慢,IOTaskWaitTime很长

【详述】集群查询慢,IOTaskWaitTime很长

【是否存算分离】是

【StarRocks版本】例如:3.2.7

【集群规模】3fe(1 follower+2observer)+3be(fe与be混部)

【附件】

  • 慢查询:
    • Profile信息
      profile.txt (27.9 KB)

    • pipeline是否开启:
      |enable_pipeline_engine|true|
      |max_pipeline_dop|64|
      |pipeline_dop|0|
      |pipeline_profile_level|1|
      |pipeline_sink_dop|0|

小问题,分桶大一点,分桶列用主键。

CREATE TABLE dws_nd_mes_zinc_output_daily (

report_date date NULL COMMENT “报告日期”,

output decimal(10, 2) NULL COMMENT “产出(t)”,

system varchar(40) NULL COMMENT “系统”

) ENGINE=OLAP

DUPLICATE KEY(report_date, output, system)

COMMENT “OLAP”

DISTRIBUTED BY RANDOM BUCKETS 3

PROPERTIES (

“replication_num” = “1”,

“datacache.enable” = “true”,

“storage_volume” = “builtin_storage_volume”,

“enable_async_write_back” = “false”,

“enable_persistent_index” = “false”,

“compression” = “LZ4”

);

这是我这个表的建表语句,这个表只有3000行数据,进行单表查询也要2,3分钟

不要用RANDOM ,得用HASH

新做了一张表,按照hash去分,但还是查询慢;
感觉问题在cn节点上,日志一直在打pipeline_driver相关的日志,但是目前我没有进行任何其他的查询或者导入

show partitions from dws_nd_mes_zinc_output_daily 所有结果放一下,看看

image

存算分离版本,都107了是不是要Compaction一下,这个分桶和大小没啥问题,看起来是小文件和分桶列没设置? DISTRIBUTED BY HASH(report_date) BUCKETS 3

集群的compaction不知道被谁关闭了,我刚刚重新打开,rowcount和CompactionVersion这些刷新了;
客户的表目前不敢动,我按你说的新建了一张表,导入了10条数据,查询慢的可怕
image

image

方便问一下你的cn配置吗?

CN 3节点,每台8c16G,配置文件如下
image

看来存算分离没cache玩不转呀 :sweat_smile: