【详述】在生产环境上 ,SR集群的be节点其中有一台be的内存占用比较高, 比其他正常节点的内存高很多,大约高30%
【背景】因为这台机器内存高 是一个持续的状态, 所以没有其他的查询操作,但是有flink写入Starrocks的操作
【业务影响】 平台一直在进行预警,因为内存已经超过了80%
Starrocks版本:2.4.4 , 5台机器
【集群规模】3fe(1 leader +2follower)+5be(fe与be混部)
【机器信息】内存:256G ,CPU:24Core , 万兆
【联系方式】 电话:15727356123, 邮箱:15727356123@163.com ,微信:15727356123
【附件】
- be节点cpu和内存使用率截图
内存比较高的be节点图片:
剩余四个节点的be内存截图:
be节点01
be节点02
be节点03
be节点04
compactionscore的值
be节点tabletnum数量:
表都是这种格式的, 只是可能生产环境 分区和分桶多点 ,其他的都是一致的
说明:
1) compaction 参数没有做过调整
2) 有一个情况 ,就是说 我们有flink在写入数据, 每天的数据量大概在1亿左右,开启的是 Exectly once(精确一致);