你好,可以出个FE内存只增不减,或者处理FE内存的文档么,上面的FE内存问题说实话帮助不大
这个文档写得有问题,即我看到了的是一大堆的内存情况,那我怎么解决?特别是内存占用高的是be和fe节点,fe节点的解决方案没给这就很让人失望。
比如我今天出现了fe节点内存飚高导致fe节点所在的机器内存告警(一直98%),我最后却只能重启fe节点,并停掉跑数任务。(我们是新上的集群,还在测试阶段)
内存问题是最要命的,导致一些数据同步任务卡死,这要是后面生产,也太危险了!
jmap -histo:live pid 老师我想触发下GC,但是触发不了 看/tmp 下的隐藏文件也没了,是代码层有什么更新么,另外我想触发这个命令,有什么办法么
刚上的时候我也是,FE内存突然飙高,然后重启才解决
fe内存当前需要借助jvm dump文件来分析看是哪部分占用。一般是因为tablet创建不合理,创建的太多导致。tablet个数和jvm的关系
100w以下,jvm 16g
100w-200w,jvm 32g
200w-500w,jvm 64g
500w-1kw,jvm 128g
按照提示加下-F试试?
fe挂了!还有其他的办法么,能执行起来这个命令
还没上上产,应该到不了100W吧
挂了肯定执行不了了,
show proc ‘/statistic’;看下有多少个talet
另外如果是3.1以后的版本的话,看下fe的memory是否打开的,打开的话关闭掉
admin show frontend config like "memory_tracker_enable";
admin set frontend config ("memory_tracker_enable" = "false");
fe.conf中添加
memory_tracker_enable = false
是加了-F执行命令后挂了。。。版本是2.5.17存算一体 3FE 5BE ,三个FE都不能执行手动GC那个命令
确认下jmap的路径和启动fe的jdk路径一致吗?一致的话可能是刚才fe进程无响应了,需要结合jstack分析
另外看下有多少个tablet,默认的jvm应该是8g,可能不够
我可以加您下微信么,详细请教下您
要么您加我下 微:17664126034
社区群里加我即可
FE master节点jmap -histo pid执行结果如下,看前面最大的也是300多M,看起来还好,目前内存是16G的,看不出啥问题,大佬指导一下
num #instances #bytes class name
1: 16280929 390742296 java.util.ArrayList
2: 11309865 361915680 java.util.HashMap$Node
3: 5683135 337636224 [Ljava.lang.Object;
4: 4054338 287550440 [C
5: 273356 281812368 [B
6: 1639307 236060208 com.starrocks.thrift.TExprNode
7: 7510894 180261456 java.lang.Long
8: 1133782 141058464 [Ljava.util.HashMap$Node;
9: 3125076 125003040 com.starrocks.transaction.TabletCommitInfo
10: 3940329 94567896 java.lang.String
11: 101742 85860200 [I
12: 2426667 77653344 com.starrocks.thrift.TScalarType
13: 1512270 72588960 java.util.HashMap
14: 2426829 58243896 com.starrocks.thrift.TTypeNode
15: 2426667 38826672 com.starrocks.thrift.TTypeDesc
16: 661747 31763856 java.nio.HeapByteBuffer
17: 300920 31295680 com.starrocks.analysis.SlotRef
18: 1224828 29395872 com.starrocks.thrift.TSlotRef
19: 126966 23361744 com.starrocks.thrift.TPlanNode
20: 115942 21333328 com.starrocks.transaction.TransactionState
21: 144594 20821536 com.starrocks.catalog.Replica
22: 1251543 20024688 com.starrocks.thrift.TExpr
23: 619355 19819360 org.antlr.v4.runtime.atn.ATNConfig
24: 221719 17737520 com.starrocks.thrift.TFunction
25: 670666 16095984 com.google.common.collect.ImmutableMapEntry
26: 37415 13469400 com.starrocks.thrift.TQueryOptions
27: 829231 13267696 java.lang.Integer
28: 180728 13012416 com.starrocks.analysis.SlotDescriptor
29: 315723 12628920 java.util.LinkedHashMap$Entry
30: 204231 11436936 com.starrocks.thrift.TAggregateFunction
31: 225805 10838640 com.sun.tools.javac.file.ZipFileIndex$Entry
32: 6307 9757560 [Lorg.antlr.v4.runtime.dfa.DFAState;
老师 我的fe follwer jvm飙升 这种怎么处理呢