为了更快的定位您的问题,请提供以下信息,谢谢
【详述】问题详细描述
Starrocks BE节点经常占用大量的缓存,有时 free 空闲内存为 0 ,但buff/cache缓存点270多GB,导致空闲内存不足。
total used free shared buff/cache available
Mem: 376 94 63 0 217 280
Swap: 19 0 19
【背景】每天都有批量数据导入,数据量在500GB左右
【业务影响】每天都有批量数据导入,数据导入不成功,BE节点挂掉,报异常:
large memory alloc
【是否存算分离】否,存算在一起。
【StarRocks版本】2.4.1
【集群规模】 4fe(3 follower+1observer)+10 be(fe与be分开部)
【机器信息】
【联系方式】社区群1-关公
【附件】
想定期清除BE节点定期缓存,清理方式: echo 3 > /proc/sys/vm/drop_caches ,不知道是否有影响,是否会丢数据?