为了更快的定位您的问题,请提供以下信息,谢谢
【详述】存算分离的CN节点 有一台机器 内存很高 过几天 内存就打满 然后会报内存不足
【背景】就跑着一些视图任务 可能查询数据比较大 但是内存充足的时候是没问题的
【业务影响】 视图任务无法执行
【是否存算分离】 是
【StarRocks版本】例如:3.1.13
【集群规模】例如:3fe(1 follower+2observer)+3be
【机器信息】fe 8C32G CN 16C64G
【联系方式】972592651@qq.com
【附件】
主要是 be节点内存高 但是子进程 内存都不高 机器重启后 过段时间又会慢慢打满 每次都是一台机器内存较高
有内存24小时的监控图吗?
可能是AwsSDK内存泄漏导致的,升级到3.2吧
随便跑几个大查询,内存就下不来了?
就一个小时前 写了几个查询 同时 导入了一些数据 内存就下不来了
这个HeapProfile拿的时间太短了,最好是内存上升前开始,然后内存高峰的时候结束,再获取下这个
行 那这两天观察着 上升了 之后 我再获取一次
可以加我下,有问题随时沟通。
怎么加啊 我看只能私信啊
今天做了控制变量发现是 SELECT table A使用UDTF进行数据打散并INSERT table B中,导致使用的内存持续占用不释放 重复执行多次后 内存打满
曲线图如下
那估计UDTF实现的有问题,导致的内存泄漏,可以将BE使用的jdk换成jdk8,并且配置下Jvm内存上限试试
我们是存算分离啊 用的 jdk11 能确定是哪的问题吗 换成jdk8就可以?
是的,下不来了.
当前CN/BE对于JDK11还没适配好,而且默认应该没设置JVM使用的内存上限,JVM自身应该默认是机器内存的1/4吧。