BE数据可靠性和空间占用的问题

【问题描述】BE-5节点因数据损坏后无法查询数据,清除全部数据后重新加入集群,经过一段时间的数据同步后存储稳定在之前的25%左右;有以下一些疑问希望解答
- 建表使用的2副本集,为什么单个节点有数据损坏后就无法正常查询了,也无法正常的进行数据修复?
- 使用空间在重建后只有25%的占用,数据查询也正常,那这相应减少的空间能够通过重做其他BE节省出来吗?

【业务影响】存储空间和部署规划。
【StarRocks版本】 3.1.4
【集群规模】1fe + 6BE ,存储单节点11TB,总计66TB
【机器信息】16核64GB
【联系方式】社区群17-看繁星点点

1.查询报错是什么?理论上不存在这个问题,除非是单副本的表
2.是不是balance到其他节点了?

1.是形如这样 found duplicate in upsert data 的报错,如果需要详细的报错,我们再复现一下,因为发现删除有问题的分区后读写就正常了,继续导入数据几天后出现了BE启动报错 delvec inconsistent tablet:12888657 rssid:15 #old:873730 #add:873730 #new:873730 old_v:3 v:3所以清除了全部数据了
2.应该不会只有数据平衡的原因这个是处理BE节点前的存储分布image
,这个是读写正常后的
image
其他节点占用的空间没有增长,反而因为BE的一些数据整理减少了