【物化视图更新报错】Mem usage has exceed the limit of the resource group [default_mv_wg]

为了更快的定位您的问题,请提供以下信息,谢谢
【详述】容器化部署的用sr做了数据仓库,dws中几乎全部用的物化视图,数据量平均为5千万级别左右,最大的一张表为2亿,自动刷新,确实方便开发,以及运维,但是可能就是因为晚上更新数据时候,导致物化视图大面积刷新,所以报错上述内容。
【背景】已经开启了数据落盘
【问题】
1.还能有什么办法可以解决当前问题,难道只能增加内存?
2.default_mv_wg这个资源组无法查到,所以也没法调整,如果想调整是否只能重新建立资源组,然后用规则把相应的物化视图包进去
【想法】目前只是可以控制物化视图自动or定点更新嘛,是否可以控制某些物化视图在某时间段不允许更新
【业务影响】
【是否存算分离】否
【StarRocks版本】例如:3.2.4
【集群规模】例如:1fe+3be
【机器信息】CPU虚拟核/内存/网卡,例如:32C/128G/万兆


顶顶顶

这边是容器化部署的,目前已经按照这几项调整了宿主机的设置



资源不够了还能咋干,增加服务器

:sob:这是最终办法,就想问问老师们是否能在当前资源下,有啥优化措施

试试

谢谢大哥奥,目前内存和最后cpu这个参数都是默认值,都比您发的这个激进,只有这个缓存参数比您发的小,我调整一下试试吧
image
按照目前90的mem_limit看目前给容器分配的是120g内存,按照90% 最高be内存应该是108g但是从我们的一个监控平台看,be内存再出错的时候也远远没有达到这个限制,非常奇怪