FE leader jvm 内存占比过高

【详述】问题详细描述
【背景】做过哪些操作?
【业务影响】
【StarRocks版本】2.5.4
【集群规模】3fe(1 follower+2observer)+5be(fe与be独立部署)。FE机器内存32G,分配给FE jvm 25G
【机器信息】CPU虚拟核/内存/网卡,例如:48C/64G/万兆
【联系方式】haibo-self@163.com
【附件】
如图,是 leader jvm 使用占比监控。可以看到内存间隔 4min 有一个使用高峰,然后马上下降。这个高峰比较高回到 70% 左右,有时候会超过 80%

选择了一个周期对比周期内高峰和gc后的内存中对象信息,看到主要是前3个对象很多。请问 TTabletInfo 这个类是做什么的,为什么有这么多。(集群共2782194个tablet,8337806个replica)

当前集群中的tablet个数太多了,单be有160多万的tablet,统计信息和fe元数据的压力会比较大。可以用这个工具检查下各表分桶数设置的是否合理,建议单个tablet数据量在1G-10G,不合理的需要整改 tools-20230413.tar.gz (30.4 MB)

1赞