BE节点内存使用每天快速增加

看下主要是哪块占用的内存,
curl -XGET -s http://be_host:8040/metrics |grep “^starrocks_be_.*_mem_bytes|^starrocks_be_tcmalloc_bytes_in_use”

看着总计用了15g,pagecache占用了13g,2.4版本之后默认开启了pagecache,pagecache默认限制为内存的20%

疑问:
1.如果我不关闭pagecache,那么当pagecache内存占用达到限制后,我的内存就不会再继续膨胀了是吗
2.如果我关闭了pagecache,那么我的内存占用就会降低下来是吗

是的,不关闭的话,随着查询的数据量增大,pagecache会持续增长到20%限制。关闭后,会逐渐释放掉这部分内存。

昨天已经关闭了pagecache,但是凌晨任务调度的时候,内存占用突然增加挺多

应该是compaction占用,可以配置下这个grafana模版,有一个be内存详细的监控StarRocks-Overview.json (291.7 KB)

这是现在的内存占用情况,模板正在替换

您给的这个模板,我上传后没有数据,我的starrocks集群是2.5.0的,是不是模板和我的集群版本不适配呢

模版里面的prometheus source的名字是Prometheus,确认下你们的source是这个名字吗


be内存占用详细情况,pagecache已经关闭,但依然占用很多内存

怎么关闭的PageCache,发下你的配置

25c518b024fa868b2a67896919100401 image
pagecache在be的conf文件修改的

disable_storage_page_cache=true 是关闭

之前有sr技术专家回复2.4版本之后默认开启了pagecache,默认是true,但pagecache内存依然占用很高

这个配置可能容易引起误解。disable_xxx,=true表示关闭,=false,表示开启。默认就是false

我按您说的做了修改,后面我再看看内存情况


官网查了下默认是true

2.3和2.3之前默认是True,可能后面没有及时改文档