fe进程内存持续增长

daducha · 2025年07月14日 12:01

为了更快的定位您的问题，请提供以下信息，谢谢
【详述】问题详细描述
【背景】做过哪些操作？
【业务影响】
【是否存算分离】
【StarRocks版本】例如：3.3.6
【集群规模】例如：3fe（2 follower+1leader）+14be
【机器信息】fe：8-32-200 ，be : 32-64-1500
【联系方式】为了在解决问题过程中能及时联系到您获取一些日志信息，请补充下您的联系方式，例如：社区群4-小李或者邮箱，谢谢
【附件】

fe.log/beINFO/相应截图
慢查询：
- Profile信息，获取Profile，通过Profile分析查询瓶颈
- 并行度：show variables like ‘%parallel_fragment_exec_instance_num%’;
- pipeline是否开启：show variables like ‘%pipeline%’;
- be节点cpu和内存使用率截图
查询报错：
- query_dump，怎么获取query_dump文件
be crash
- be.out
- coredump，如何获取coredump
外表查询报错
- be.out和fe.warn.log

daducha · 2025年07月14日 12:04

num #instances #bytes class name (module)

1: 83674287 2: 82558581 3: 78411646 4: 9063859 5: 31428575 6: 8209999 7: 16830899 8: 20379110 9: 7445165 10: 8305796 11: 1239584 12: 5752559 13: 3925607 14: 2485625 15: 1229108 16: 1233098 17: 238823 18: 1242190 19: 2458268 20: 1315569 21: 2666978 22: 1667245 23: 1241720 24: 1282167 25: 1875588 26: 1239584 27: 1231407 28: 1416094 29: 1413502 30: 1282199 31: 1282199 32: 1282199 33: 1240570 34: 552670 35: 280813 36: 102612 37: 482245 38: 466590 2920370152 [B (java.base@11.0.24)
1981405944 java.lang.String (java.base@11.0.24)
1254586336 com.starrocks.catalog.ColumnId
800021272 [Ljava.lang.Object; (java.base@11.0.24)
754285800 java.util.ArrayList (java.base@11.0.24)
670156336 [Ljava.util.HashMap$Node; (java.base@11.0.24)
538588768 java.util.HashMap$Node (java.base@11.0.24)
489098640 java.lang.Long (java.base@11.0.24)
357367920 java.util.HashMap (java.base@11.0.24)
332231840 com.starrocks.transaction.TabletCommitInfo
277666816 com.starrocks.transaction.TransactionState
230102360 java.util.LinkedHashMap$Entry (java.base@11.0.24)
219833992 java.util.LinkedHashMap (java.base@11.0.24)
159080000 java.util.concurrent.ConcurrentHashMap (java.base@11.0.24)
117994368 com.starrocks.load.routineload.RLTaskTxnCommitAttachment
88783056 com.starrocks.transaction.PartitionCommitInfo
69313824 [I (java.base@11.0.24)
59625120 java.util.concurrent.locks.ReentrantReadWriteLock$FairSync (java.base@11.0.24)
58998432 com.starrocks.load.routineload.KafkaProgress
52622760 jdk.nio.zipfs.ZipFileSystem$IndexNode (jdk.zipfs@11.0.24)
42671648 java.util.HashSet (java.base@11.0.24)
40013880 org.apache.thrift.protocol.TField
39735040 java.util.concurrent.CountDownLatch$Sync (java.base@11.0.24)
30772008 java.util.concurrent.locks.ReentrantReadWriteLock (java.base@11.0.24)
30009408 java.util.HashMap$EntrySet (java.base@11.0.24)
29750016 com.starrocks.transaction.TransactionState$TxnCoordinator
29553768 com.starrocks.transaction.TableCommitInfo
22657504 java.util.HashMap$Values (java.base@11.0.24)
22616032 java.util.HashMap$KeySet (java.base@11.0.24)
20515184 java.util.concurrent.locks.ReentrantReadWriteLock$ReadLock (java.base@11.0.24)
20515184 java.util.concurrent.locks.ReentrantReadWriteLock$Sync$ThreadLocalHoldCounter (java.base@11.0.24)
20515184 java.util.concurrent.locks.ReentrantReadWriteLock$WriteLock (java.base@11.0.24)
19849120 java.util.concurrent.CountDownLatch (java.base@11.0.24)
17685440 com.starrocks.common.util.concurrent.lock.LockHolder
15725528 java.util.stream.ReferencePipeline$Head (java.base@11.0.24)
15597024 com.starrocks.catalog.Replica
15431840 java.util.concurrent.locks.AbstractQueuedSynchronizer$Node (java.base@11.0.24)
14930880 com.starrocks.thrift.TUniqueId

集群中有23个routine load任务。
观察发现com.starrocks.transaction.TransactionState对象较多，维持在120W。
fe启动参数：java -Dlog4j2.formatMsgNoLookups=true -Xmx25g -XX:+UseG1GC

daducha · 2025年07月14日 12:10

fe配置参数：
label_keep_max_second
label_keep_max_num
使用默认值

daducha · 2025年07月14日 12:11

@trueeyu 鳄鱼哥给看下，重启后不能恢复。

daducha · 2025年07月14日 12:12

finished一直在增长

daducha · 2025年07月15日 02:11

2025-07-15 08:13:50.145+08:00 WARN (LoadLabelCleaner|89) [GlobalStateMgr.clearExpiredJobs():2563] transaction manager remove expired txns failed
java.lang.NullPointerException
日志中发现这个报错