【详述】响应很慢,sql查询执行时间很长,pipeline_dop已经设置成cpu核数的一半
【背景】数据由spark写入starRocks,有3张物化视图表,物化视图的sql比较复杂,且使用了函数处理数据关联,数据表的create ddl,使用的DISTRIBUTED BY HASH(id
),replication_num=1
【业务影响】普通sql执行很慢,普遍10s以上,物化视图insert overwrite sql执行普遍在30s左右。
【是否存算分离】存算一体
【StarRocks版本】例如:3.1.15-5625961
【集群规模】例如:3fe(1master +2follower)+3be(fe与be分开部署)
【机器信息】CPU虚拟核/内存/网卡,例如:48C/64G/万兆
【联系方式】18361277396@163.com
监控截图
不知道应该上传什么信息,需要更多信息的,请告知我
【附件】
- 慢查询:
- Profile信息
- 普通sql查询profile
9.txt (34.5 KB) - 物化视图insert overwrite sql profile
物化视图profile.txt (86.2 KB) - 数据库数据倾斜度结果,发现有些表的倾斜度比较大,不确定是不是因为这个原因引起的。还有表使用随机分桶,但是buckets的数量只有1
report.txt (7.6 KB)