Starrocks-BE v3.2.3 每天晚上一直把磁盘IO打到100%,性能损耗巨大

不要开Swap

Bitmap使用场景可以看这个: Bitmap索引适用场景和最佳实践 , 如果只是单一条件的过滤,并且基数很低,并且没有组合过滤条件的场景,Bitmap索引不太合适

好的,谢谢老师,我先看看

我发现现在compact更频繁了,是针对之前那张表的一个同步物化视图一直在做压缩,今早差不多做了一个小时,磁盘IO一直100%

老师,我根据你的提醒,把我们的表没用的bitmap索引都删掉了,发现IO降下来了,我想知道有没有办法看到bitmap索引占的空间有多大,我发现删除bitmap索引的job都跑了好几个小时

这个功能正在研发中,不过有个比较麻烦的方法来看。

你微信号是啥,我想了解下什么样的Bitmap索引会产生这么大的IO压力。

我的微信号是LANCER_531,我再观察多几天,我发现今天下午本来定时做compact时磁盘写IO会升到100的现象没有出现了

有没有老哥知道这问题咋解决

哥们,解决了吗?也碰到这个问题了

我删除了多余的bitmap索引解决了一段时间的IO 100%问题了

公司里主要是有一些复杂的连表查询每天都在跑,所以IO持续一直高

这个主要的问题是这个表没分区,10T的数据compaction不可能很快的。应该做成分区表,历史数据尽量就不要变,这样只有最新分区的数据在compaction,这样io就轻松了。
主键表的更新是可以更新历史分区里的数据的,所以还是要分区,不要全量的不分区大表