FE节点执行复杂SQL挂机

[jackw]

为了更快的定位您的问题，请提供以下信息，谢谢
【详述】FE执行大SQL挂了
【背景】执行复杂sql,标签宽表动态SQL
【业务影响】fe_log.zip (4.9 MB)
【StarRocks版本】2.5.5-24c1eca
【集群规模】例如：3fe(其中一台混布)+5be（fe与be混部）
【机器信息】64C/125G/万兆
【附件】
【联系方式】为了在解决问题过程中能及时联系到您获取一些日志信息，请补充下您的联系方式，例如：社区群4-小李或者邮箱，谢谢
【附件】
复杂sql文本
标签宽表.txt (8.2 KB)

• fe.log/beINFO/相应截图
  fe_log.zip (4.9 MB)
  -fe节点cpu和内存使用率截图
  jvm监控
  
  
  
  cpu和内存监控
  
  
  
  sql执行情况
  
  
• 查询报错
  • be.out和fe.warn.log

[jackw]

fe.log_2023-10-30.tar.gz (21.7 MB)

[LIANGCHAOHUA]

2023-10-30 04:03:35,105 WARN (AutoStatistic|38) [StmtExecutor.executeStmtWithExecPlan():1623] com.starrocks.common.UserException: Memory of process exceed limit. Pipeline Backend: 10.123.170.15, fragment: 3d941182-7696-11ee-9ad3-6cfe541ab142 Used: 109034983120, Limit: 109023441591. Mem usage has exceed the limit of BE

这个SQL跑起来 BE已经内存不足了

[jackw]

@LIANGCHAOHUA

AutoStatistic

为什么超过内存，会直接宕掉fe节点了，另外如果两个ＦＥ节点运行就没有问题

[LIANGCHAOHUA]

dmesg -T 看下系统kill掉。混部BE要留内存给FE， be参数mem_limit设置小点，留内存给FE使用

[gengjun]

看日志是leader full gc，导致切主了，可以调大下FE的jvm配置。