[问题排查]内存相关

你好,可以出个FE内存只增不减,或者处理FE内存的文档么,上面的FE内存问题说实话帮助不大

这个应该怎么解决老师

这个文档写得有问题,即我看到了的是一大堆的内存情况,那我怎么解决?特别是内存占用高的是be和fe节点,fe节点的解决方案没给这就很让人失望。
比如我今天出现了fe节点内存飚高导致fe节点所在的机器内存告警(一直98%),我最后却只能重启fe节点,并停掉跑数任务。(我们是新上的集群,还在测试阶段)

内存问题是最要命的,导致一些数据同步任务卡死,这要是后面生产,也太危险了!

jmap -histo:live pid 老师我想触发下GC,但是触发不了 看/tmp 下的隐藏文件也没了,是代码层有什么更新么,另外我想触发这个命令,有什么办法么

刚上的时候我也是,FE内存突然飙高,然后重启才解决

fe内存当前需要借助jvm dump文件来分析看是哪部分占用。一般是因为tablet创建不合理,创建的太多导致。tablet个数和jvm的关系
100w以下,jvm 16g
100w-200w,jvm 32g
200w-500w,jvm 64g
500w-1kw,jvm 128g

老师,麻烦解决下这个问题,想要触发下GC,降下内存,着急

按照提示加下-F试试?

fe挂了!还有其他的办法么,能执行起来这个命令

还没上上产,应该到不了100W吧

挂了肯定执行不了了,
show proc ‘/statistic’;看下有多少个talet

另外如果是3.1以后的版本的话,看下fe的memory是否打开的,打开的话关闭掉

admin show frontend config like "memory_tracker_enable";

admin set frontend config ("memory_tracker_enable" = "false");
fe.conf中添加
memory_tracker_enable = false

是加了-F执行命令后挂了。。。版本是2.5.17存算一体 3FE 5BE ,三个FE都不能执行手动GC那个命令

确认下jmap的路径和启动fe的jdk路径一致吗?一致的话可能是刚才fe进程无响应了,需要结合jstack分析

另外看下有多少个tablet,默认的jvm应该是8g,可能不够

我可以加您下微信么,详细请教下您

要么您加我下 微:17664126034

社区群里加我即可

FE master节点jmap -histo pid执行结果如下,看前面最大的也是300多M,看起来还好,目前内存是16G的,看不出啥问题,大佬指导一下
num #instances #bytes class name


1: 16280929 390742296 java.util.ArrayList

2: 11309865 361915680 java.util.HashMap$Node

3: 5683135 337636224 [Ljava.lang.Object;

4: 4054338 287550440 [C

5: 273356 281812368 [B

6: 1639307 236060208 com.starrocks.thrift.TExprNode

7: 7510894 180261456 java.lang.Long

8: 1133782 141058464 [Ljava.util.HashMap$Node;

9: 3125076 125003040 com.starrocks.transaction.TabletCommitInfo

10: 3940329 94567896 java.lang.String

11: 101742 85860200 [I

12: 2426667 77653344 com.starrocks.thrift.TScalarType

13: 1512270 72588960 java.util.HashMap

14: 2426829 58243896 com.starrocks.thrift.TTypeNode

15: 2426667 38826672 com.starrocks.thrift.TTypeDesc

16: 661747 31763856 java.nio.HeapByteBuffer

17: 300920 31295680 com.starrocks.analysis.SlotRef

18: 1224828 29395872 com.starrocks.thrift.TSlotRef

19: 126966 23361744 com.starrocks.thrift.TPlanNode

20: 115942 21333328 com.starrocks.transaction.TransactionState

21: 144594 20821536 com.starrocks.catalog.Replica

22: 1251543 20024688 com.starrocks.thrift.TExpr

23: 619355 19819360 org.antlr.v4.runtime.atn.ATNConfig

24: 221719 17737520 com.starrocks.thrift.TFunction

25: 670666 16095984 com.google.common.collect.ImmutableMapEntry

26: 37415 13469400 com.starrocks.thrift.TQueryOptions

27: 829231 13267696 java.lang.Integer

28: 180728 13012416 com.starrocks.analysis.SlotDescriptor

29: 315723 12628920 java.util.LinkedHashMap$Entry

30: 204231 11436936 com.starrocks.thrift.TAggregateFunction

31: 225805 10838640 com.sun.tools.javac.file.ZipFileIndex$Entry

32: 6307 9757560 [Lorg.antlr.v4.runtime.dfa.DFAState;

image 老师 我的fe follwer jvm飙升 这种怎么处理呢