2.4.1版本FE 节点运行一段时间服务就挂掉

为了使用主键key列落盘,测试环境上安装了2.4.1版本进行验证,后面发现过上几天FE节点就挂掉,重启后几天后又挂掉,后面看日志是OOM,FE节点设置的内存大小和生产一样大(8G),生产用的2.2.6版本的运行了好几个月了一直没有问题,测试环境2.4.1版本几天就挂,造成现在生产不敢升级


jstat -gcutil $pid 1000 1000看下fe的jvm情况

混部的?机器内存多大

-XX:+HeapDumpOnOutOfMemoryError 这个FE java opts加一下这个参数,得分析一下 heap

3台机器混部的(3FE+3BE),32G内存,FE给了8G,测试环境,不怎么用

已经回退到2.3.3版本了,2.3.3版本是没有这个问题的

已经回退到2.3.3版本了,2.3.3版本是没有这个问题的,如果是资源问题,2.3.3也会出现那个问题的

已经回退到2.3.3版本了,2.3.3版本是没有这个问题的,而且是测试环境,不怎么用,就是验证业务的时候用一下

@U_1663289025473_9154 每次OOM的栈都是这样的吗?

是的呢,回退到2.3.3版本就正常了,里面配置的参数都一样,所以怀疑是不是内存泄漏问题

# OOM的时候自动dump内存快照出来
-XX:+HeapDumpOnOutOfMemoryError
# 把内存快照放到哪儿去
-XX:HeapDumpPath=/usr/local/app/oom

能帮忙加下这个参数吗?这样在oom的时候可以打印下内存快照

@U_1663289025473_9154 2.4开启enable_experimental_mv = true了吗
这个错误的前后日志发下,或者能不能再升级到2.4.1上去,加一下 -XX:+HeapDumpOnOutOfMemoryError 一起分析一下。

请您参考下上面方案在测试环境升级到2.4.1版本看下是否可以复现问题,定位分析下问题原因。另外2.4.* 版本使用主键索引落盘功能的话,建议使用2.4.2版本。


出现相同问题,dump的log信息,帮忙看一下什么问题。版本2.4.1

你有很多的insert into导入吗

多久挂一次?是Follower挂了吗?

常见 Crash / BUG / 优化 查询 可能是这个问题,升级到2.4.3

三天左右就会打满FE

升级到2.4.3吧,这个已经修了

我升级到了2.5.0版本,发现leader节点jvm稳定了,但是flowwer节点还是在持续啥上涨


这是leader: