为了更快的定位您的问题,请提供以下信息,谢谢
【详述】新项目评估单台节点内存
【业务影响】
【StarRocks版本】2.4.5
【集群规模】3fe(1 follower+2observer)+9be(fe与be混部)
【机器信息】32C/128G/万兆
关于fe元数据的大小,starrock官网文档中提到:一千万个 Tablet 内存使用在 20 GB左右。FE 的内存最多可设置为 20 GB。
正常生产最多应该是大于20gb的吧,请确认下是否有问题呢,看起来这个描述自相矛盾。而且这个fe内存占用是单个的,还是三个fe高可用节点负载均衡后的呢?并且根据实际经验,一千万tablet,应该不止20GB才对吧
FE 的内存是按节点算的,如果你设定了高可用,就等于是三节点,每个节点都会占用相同的内存。
不止20GB的,比较正常,文档只是设定了一个参考值
除了元数据外,还需要考虑 SQL Session 的连接数对内存的占用,对SQL 处理过程对内存的占用,这块就比较多了,需要自行测试了…
你好,如果在没有 SQL Session,也没有存储过程,这个fe的内存占用和数据量级的关系是什么呢?有没有经验公式呢?比如20tb的数据,会在后台占用多少内存呢?
一千万个 Tablet 内存使用在 20 GB左右
这个推算就可以了
额,因为在群里有大佬说一千万实测128gb左右的jvm,说这个20gb不太合理让我提个bug才来问的
这个分片不管多少都是20gb?和分桶数的大小无关吗?比如10gb一个桶,1gb一个桶,占用都是20gb吗?
如果是这样的情况,是不会有答案的
每个人遇到的场景和需求都不一样,他的实测是在什么状态下呢? 这个没办法猜测
那官方已经给了实践指南了,如果超出了也有可能,是不是操作上或者理解上有偏差导致的?这个很难说
这个没有对错之说的,关键是能否接受这个现状 (然后是否还想探索下优化之道,进入到 hard 模式)