为了更快的定位您的问题,请提供以下信息,谢谢
【详述】在进行insert into select 操作以后,数据已经被成功导入后发现接下来集群be的cpu被打满了,观察是在导入后数据有compaction操作,猜测是由于该操作引起的
【背景】在UNIQUE KEY表使用insert into select的方式做etl
【业务影响】大
【是否存算分离】否
【StarRocks版本】3.2.3
【集群规模】例如:3fe(3 follower)+3be(fe与be分离部署)
【机器信息】CPU虚拟核/内存/网卡,例如:8C/32G/万兆
【联系方式】1583425949@qq.com
【附件】
导入时的be内存使用情况

对应在导入完成后cpu占用情况

对应导入完成后compaction情况
结果表类型为UNIQUE KEY
上述是在关闭其他表库所有操作后单独执行的监控结果,所以基本能确定就是导入后的compaction导致的cpu占满,而且无论我在执行insert into select语句前是否使用truncate语句清空目的表,依然都会出现该情况。
目前我对be的compaction相关的配置为:
cumulative_compaction_num_threads_per_disk=4
base_compaction_num_threads_per_disk=2
cumulative_compaction_check_interval_seconds=2
tablet_max_versions=1500
求解该如何配置或者优化才能避免be服务器的cpu被占满,影响其他的查询或者写入任务