查询时间分区速率时快时慢，分区数据删掉也慢

💬 StarRocks 用户问答
#1

【详述】请问以时间做为分区，查询时间有时快，有时慢，打分区数据删掉，查到0也慢，查看分区储存大小，删除了为什么储存还在？
【背景】删除该分区时间的数据
【业务影响】
【StarRocks版本】2.3.4
【集群规模】2fe + 6be（2fe与2be混部）
【机器信息】16核 32线程

  • 慢查询：
    • Profile信息
    • 并行度：show variables like ‘%parallel_fragment_exec_instance_num%’;
      parallel_fragment_exec_instance_num = 8
    • pipeline是否开启：show variables like ‘%pipeline%’;
      开启
#2

要看分区对应存储的数据有多大，然后分区数据删除逻辑是： 删除命令执行 —> 打删除标签（24小时）—>进入trash目录（三天），最后自动清理 ，为了防止误删除操作，达到元数据可恢复的策略，所以前面存储还在

#3

请问以时间作为分区，每个分区每天 7—20G，这样分多少个桶好，16核32线程，2fe6be

#4

image be节点个别非常大是什么原因

#5

StarRocks分区分桶注意事项 可以参考下这里的注意事项和建议，然后这里有个数据倾斜检查的工具，可以参照着里面readme的说明文档去进行下验证，看是否是之前分桶分区不合理导致的数据有所倾斜： wget “https://starrocks-public.oss-cn-zhangjiakou.aliyuncs.com/tools.tar.gz” -O StarRocks-tools

#6

无法执行二进制文件，你发的是不是32位的，我更改为可执行文件，也执行不了

#7

我review下 ok了再给您发一份

#8

我是64位的，你发的是32位的吗

#9

在，什么时候发64位的tools

#10

我核验下工具 在给您发一下 ，当前还没review，您那边当前可以先检查下分区分桶是否合理 然后通过磁盘的占用也可以看下是否有数据倾斜的问题存在

京ICP备2022026421号-1