StarRocks存储占用查询

【详述】
在调研StarRocks存储空间占用的过程中发现,如下查询方式得到的数据规模结果之间有差异。

  • 通过MySQL客户端登录,在每个Database下执行 SHOW DATA ,将 Total 行的结果加和,得到所有Database的数据规模
  • 通过MySQL客户端登录,执行 SHOW BACKENDS ,将 DataUsedCapacity 的结果加和,得到所有BE节点存储的数据规模
  • 登录安装StarRocks的机器,在storage目录下执行 du -h --max-depth 1 ,查询磁盘占用情况

整体情况如下

  • SHOW DATA: 结果总和约为39G
  • SHOW BACKENDS: 结果总和约为58G
  • du: storage/data路径下的总和与 SHOW BACKENDS的基本一致,且storage/trash和storage/meta下的磁盘占用并不显著的大

想咨询:

  • 不同查询下磁盘占用结果不同的原因
  • StarRocks文件存储原理相关文档

【StarRocks版本】
2.2.1

【集群规模】
1FE + 3BE,单台机器上采用Docker container的方式部署,每个BE container的存储路径挂载在宿主机上各自对应的路径下

【附件】

您好,我在主题 - 【附件】中已更新BE的storage路径下磁盘占用情况

trash下有数据,但是看起来并不是差异的大头。

您好,这种情况很有可能是有些tablet还没有删除,因为删除也是需要一定周期的。您可以关注一下trash目录的大小,或者如果您是force删除的话是不会进trash目录的。

您好。我之前在Github中也提了相关的issue,也得到了相关的回复,也提到了您回复中的信息。但是目前的现象感觉还是和评论里解释的原因有一些不一致的地方,不知道您这边有没有什么经验?