starrocks 2.5.4 版本,发现be的存储目录下主键模型都是几十兆的dat小文件,有没有配置之类的可以触发合并成更大的文件?
支持的,be.conf update_compaction_size_threshold=268435456 , 但是会增加IO开销,当前小文件有什么影响吗?
SR 2.5.4 好像没看到这个配置项呢,是不是后续版本才有的。
小文件太多会导致在主键 in 查询的时候,segment init耗用时长比较久
你拿个perf top -g ,估计不是文件小的问题,有可能是roaring2bitmap的问题。
你看到瓶颈是卡IO上,还是CPU上
如果卡IO上,才有可能是小文件的问题