FE 节点卡死

【集群信息】

  • 版本: 2.0.8
  • 架构:3 FE、3 BE 混合部署
  • 机器配置:三台节点 16 核 64 G

【配置情况】

  • FE:堆栈 22G、G1 收集器
  • BE:mem_limit = 75%

【问题】

最近发现 FE 节点偶尔会出现内存使用率飙升,并且突然卡死的情况。之前把 JVM 收集器改成 G1 收集器,但是效果也不明显,还是会 GC 卡死。

【疑问】

1、之前 1.19 版本使用的时候资源消耗没那么多,升级 2.0 版本后发现内存经常出现不够用的情况,请问继续升级是不是资源消耗会更加严重。

2、现在主要是定时跑任务,并发量很小。请问升级机器配置(32核128G)还是扩容节点比较好。

1.先把FE和BE独立,不要混部。
2.是导入任务引起吗?是什么的导入方式?
3.FE的JVM设置了22G吗?如果混部 那么BE的mem_limit 75%可能也是太高了

1、我计划新增两台机器把 FE 节点迁移过去,并且 FE 节点缩减成 2个,剩下的三个节点就放 BE 节点。请问 FE 节点 JVM 内存调整多大比较合适

2、导入任务也有,主要是 insert into

1.FE的JVM通常设置16G。
2.insert into values吗?

1、但是我们单条SQL配置最大内存20G,因为些复杂的SQL超过内存限制跑不出来
2、都有,insert into select… 也有,还有其他复杂点的

1.内存limit这个优化一下SQL,减少查询的数据量或者加大内存。
其实fe节点卡死是和BE抢资源,资源不足导致,为了稳定,还是先考虑分开吧。
fe 配置不用高,be配置需要高点。

我计划 FE 节点用 8核64G 单独部署,FE JVM 内存最大可以调多少呢

FE 8C32G jvm设置16G