为了更快的定位您的问题,请提供以下信息,谢谢
【详述】问题详细描述
在测试StarRocks时,发现虚拟内存占用较大。
目前有两套测试集群。
A: 3fe + 3BE fe 1.3G be 2.7G BE虚拟内存占用 27G fe虚拟内存占用 11G
B:3fe + 3BE fe 3G BE 8G BE 虚拟内存占用77G fe虚拟内存占用 21G
对整个集群做过的调优如下:
强制中间结果落盘
SET enable_spill = true;
SET spill_mode = 'force';
一个pipeline实例的并行数量
SET pipeline_dop = 1;
为select查询启用查询队列
SET GLOBAL enable_query_queue_select = true;
用于控制是否为统计信息查询启用查询队列。
SET GLOBAL query_queue_max_queued_queries = 512;
单个BE节点中并发查询的上限
SET GLOBAL query_queue_concurrency_limit = 2;
最大并行度
SET GLOBAL parallel_fragment_exec_instance_num = 8;
队列中查询数量的上限
set GLOBAL query_queue_max_queued_queries = 2;
【背景】做过哪些操作?
正常启动,压测查询、导入数据等。
【业务影响】
虚拟内存占用较大,相比同等性能的es集群,虚拟内存占用大3倍。
【是否存算分离】
存算一体
【StarRocks版本】3.3.7
【集群规模】3fe(1 follower+2observer)+3be(fe与be混部)
【机器信息】CPU虚拟核/内存/网卡,例如:48C/64G/万兆
A:16c + 64g
B: 32c + 128g
【联系方式】为了在解决问题过程中能及时联系到您获取一些日志信息,请补充下您的联系方式,例如:社区群4-小李或者邮箱,谢谢
mynsiho@gmail.com