部分BE节点的内存突然上涨,然后内存不释放

【详述】部分BE节点的内存突然上涨,然后内存不释放,一共3台BE节点,有两台BE节点有这种不释放的情况
【业务影响】
【StarRocks版本】2.5.2
【集群规模】1fe+3be(fe与be没有混部)
【机器信息】12C/48G/万兆
【联系方式】社区群3 - Mr。xiao
【附件】
内存监控截图:
Process Mem截图


Queryring Mem截图

内存正常节点:
starrocks_be_bitmap_index_mem_bytes 465312
starrocks_be_bloom_filter_index_mem_bytes 1319848
starrocks_be_chunk_allocator_mem_bytes 547678912
starrocks_be_clone_mem_bytes 0
starrocks_be_column_metadata_mem_bytes 60126084
starrocks_be_column_pool_mem_bytes 721415092
starrocks_be_column_zonemap_index_mem_bytes 5186212
starrocks_be_compaction_mem_bytes 0
starrocks_be_consistency_mem_bytes 0
starrocks_be_load_mem_bytes 0
starrocks_be_metadata_mem_bytes 75085643
starrocks_be_ordinal_index_mem_bytes 29955448
starrocks_be_process_mem_bytes 5965275712
starrocks_be_query_mem_bytes 0
starrocks_be_rowset_metadata_mem_bytes 6640745
starrocks_be_schema_change_mem_bytes 0
starrocks_be_segment_metadata_mem_bytes 7259320
starrocks_be_segment_zonemap_mem_bytes 1460335
starrocks_be_short_key_index_mem_bytes 4372084
starrocks_be_storage_page_cache_mem_bytes 3974633792
starrocks_be_tablet_metadata_mem_bytes 1059494
starrocks_be_tablet_schema_mem_bytes 39790
starrocks_be_update_mem_bytes 204762115

内存不释放节点:
starrocks_be_bitmap_index_mem_bytes 501504
starrocks_be_bloom_filter_index_mem_bytes 1285512
starrocks_be_chunk_allocator_mem_bytes 533694472
starrocks_be_clone_mem_bytes 0
starrocks_be_column_metadata_mem_bytes 79007368
starrocks_be_column_pool_mem_bytes 1006514205
starrocks_be_column_zonemap_index_mem_bytes 5425112
starrocks_be_compaction_mem_bytes 0
starrocks_be_consistency_mem_bytes 0
starrocks_be_load_mem_bytes 0
starrocks_be_metadata_mem_bytes 94313336
starrocks_be_ordinal_index_mem_bytes 49467464
starrocks_be_process_mem_bytes 8268024104
starrocks_be_query_mem_bytes 1891996448
starrocks_be_rowset_metadata_mem_bytes 6173993
starrocks_be_schema_change_mem_bytes 0
starrocks_be_segment_metadata_mem_bytes 8073593
starrocks_be_segment_zonemap_mem_bytes 1403659
starrocks_be_short_key_index_mem_bytes 5297260
starrocks_be_storage_page_cache_mem_bytes 3977261872
starrocks_be_tablet_metadata_mem_bytes 1058382
starrocks_be_tablet_schema_mem_bytes 39790
starrocks_be_update_mem_bytes 204585530

当前配置的缓存参数:
disable_storage_page_cache=0
block_cache_enable=0
enable_populate_block_cache之前是true,发现内存不释放后,SET enable_populate_block_cache = false,BE没有重启。
image

看起来就是差在query上了,意思是没有查询但是query占了差不多2g内存?

日常是有查询的,但是没有占用这么大内存的查询,而且从监控和获取的内存数据来看,节点上query_mem占用的内存貌似是一个恒定值,几乎没什么变化,昨天其中一个be节点重启,然后query内存就降下去了,还有一个BE节点未重启。

再出现的时候,http://xxx:8040/mem_tracker?type=query_pool&upper_level=4 看下是哪个查询,尽快升级到2.5.10吧,低版本,曾经发生过查询卡住的问题