为了更快的定位您的问题,请提供以下信息,谢谢
【详述】监控io一直很高,集群查询写入很少
【背景】升级
【业务影响】
【是否存算分离】
【StarRocks版本】3.3.0rc01
【集群规模】例如:3fe(1 follower+2observer)+4be(fe与be混部)
【机器信息】物理机
iotop结果如下:
当前io监控:
为了更快的定位您的问题,请提供以下信息,谢谢
【详述】监控io一直很高,集群查询写入很少
【背景】升级
【业务影响】
【是否存算分离】
【StarRocks版本】3.3.0rc01
【集群规模】例如:3fe(1 follower+2observer)+4be(fe与be混部)
【机器信息】物理机
iotop结果如下:
当前io监控:
看起来compaction占比不小,看着compaction差不多120MB/s,是hdd盘吧?是不是有比较多的实时数据写入
使用Unique模型比较多?
目前看下来是由于升级后,集群对历史tablet也做compaction ,由于tablet有点多,有240w ,单台机器60w 。 目前调整了compaction 参数如下:
size_tiered_level_multiple=10
min_cumulative_compaction_num_singleton_deltas=10
base_compaction_interval_seconds_since_last_operation=60480000
目的是对历史的tablet 不做compaction ,加上后io正常了。
麻烦看下我的处理方式后续改怎么做。
是hdd,实时写入数据很少。调整完参数的集群io监控是:
从哪个版本升级上来的
这个参数可以调回默认值,上面两个参数调整了后compaction速率就降低了
2.5.5 -> 3.0.9 -> 3.1.9 这样一路升级上来的
base_compaction_interval_seconds_since_last_operation调整回默认值后还有问题吗
size_tiered_level_multiple=10
min_cumulative_compaction_num_singleton_deltas=10
目前只保留了这两个参数,目前一切正常
所以说,问题的根源是升级导致的?
是的,高版本compaction做了一些优化,不过这个可能会触发历史tablet的compaction