为了更快的定位您的问题,请提供以下信息,谢谢
【详述】问题详细描述
【背景】做过哪些操作?
【业务影响】
【是否存算分离】
【StarRocks版本】例如:1.18.2
【集群规模】例如:3fe(1 follower+2observer)+5be(fe与be混部)
【机器信息】CPU虚拟核/内存/网卡,例如:48C/64G/万兆
如何设置 FE 的内存大小?
元数据信息都保存在 FE 的内存中。可以按下表所示参考 Tablet 的数量来设置 FE 的内存大小。例如 Tablet 数量为 100 万以下,则最少要分配 16 GB 的内存给 FE。您需要在 fe.conf 文件的 JAVA_OPTS 中通过配置 -Xms 和 -Xmx 参数来设置 FE 内存大小,并且两者取值保持一致即可。注意,集群中所有 FE 需要统一配置,因为每个 FE 都可能成为 Leader。
Tablet 数量 FE 内存大小
100 万以下 16 GB
100 万 ~ 200 万 32 GB
200 万 ~ 500 万 64 GB
500 万 ~ 1 千万 128 GB
上面是starRocks的官方文档内容,意思如果表数量多,尤其是分区加索引都会让表数量每天爆增,那么很容易超过100万,但是我的数据可能只保留2年,我目前的观察每天新增1万个表(由于分区+索引会导致每天都爆增),这个情况下一年就300多万了,我要保存近2年的数据,那不是得有700万左右的表数量,一台FE就得128GB内存??这样不合理吧?尤其是一般查询都是只需要查询近几个月的,保留近2年是极个别需要查询分析更久的数据。这一点是不是starRocks设计的不合理?不可以让元数据里面比如超过半年的表就暂时不写入内存么?
