【详述】这段时间发现 Compaction 进行一段时候后就不再进行,数据的版本就会增长到 1000+,进而出现 Too Many Version 错误,需要重启才能恢复 compaction。
【背景】做过哪些操作?
be.conf 更改的设置如下
cumulative_compaction_num_threads_per_disk = 5
base_compaction_num_threads_per_disk = 10
cumulative_compaction_check_interval_seconds = 2
update_compaction_num_threads_per_disk = 2
disable_storage_page_cache = true
enable_event_based_compaction_framework = true
【业务影响】
- 影响写入
- 导致数据磁盘占用过大
【StarRocks版本】2.4.4
【集群规模】3fe + 3be(fe与be混部)
【附件】
-
是 compaction、load的内存信息
-
下面日志中显示的时间与真实时间相差8h。正常情况下应该 1800s 调用一次
_compaction_check_one_round
函数,该函数返回会出现tablets checked. time elapse
日志。但是在10:44:14
之后就再也没有出现过了,换成算真实时间也和上面的compaction_mem_bytes
指标基本符合。