- SegmentRead: 9.753ms
- __MAX_OF_SegmentRead: 1s87ms
- __MIN_OF_SegmentRead: 0ns
怀疑任务分配不均衡,把所有的Read操作都只交给了1个线程,其他的线程都空闲着
但是这条SQL的数据存储应该是没有严重的数据倾斜的,使用的time_at_5min分区,domain分桶,sql里in条件查询了大量的domain,因此应该会扫描单个分区的多个桶,不应该只有1个线程完成这些工作。
- SegmentRead: 9.753ms
- __MAX_OF_SegmentRead: 1s87ms
- __MIN_OF_SegmentRead: 0ns
怀疑任务分配不均衡,把所有的Read操作都只交给了1个线程,其他的线程都空闲着
但是这条SQL的数据存储应该是没有严重的数据倾斜的,使用的time_at_5min分区,domain分桶,sql里in条件查询了大量的domain,因此应该会扫描单个分区的多个桶,不应该只有1个线程完成这些工作。
好的,我粗略的看了一下,这个好像是旧版本的profile的分析文档,现在pipeline引擎的profile格式已经进行过变更了,也能用这篇文档来检测吗
可以,该帖有介绍如何进行检测数据是否倾斜的方法和工具,和profile没有太大关系
权限应该没问题
大佬后面怎么优化的,我们2.4.2版本,明细模型+物化视图的查询,关闭pipeline之后执行时间由11秒下降到4秒
请问下最后是怎么解决的呢