starrocks从2.4.3升级到2.4.5后，be资源使用增加

[zhangzhi]

【StarRocks版本】2.4.3升级到2.4.5
【集群规模】3fe（2 follower+1leader）+3be
【机器信息】16C32G
【背景】
starrocks集群从2.4.3升级到2.4.5
be的配置文件增加了两个配置

base_compaction_num_threads_per_disk = 2
cumulative_compaction_check_interval_seconds = 2

【业务影响】
升级后，be所在服务器资源使用都涨了很多，包括磁盘使用增加了200G左右，cpu负载和io也都增加了，具体看下面监控截图。
有时候一条简单sql查询需要好几秒，但是这条sql单独在命令行执行就很快。

【附件】

• 慢查询：
  
  单独在命令行执行很快
  
  
  • Profile信息，获取Profile，通过Profile分析查询瓶颈
  • 并行度：
    
  • pipeline是否开启：
    
  • be节点cpu和内存使用率截图
    升级完毕后，be节点磁盘使用监控，红色箭头为升级时间点。
    
    
    
    be节点磁盘io监控
    
    
    
    be节点cpu使用及负载监控
    
    
    
    
    

[Natsume729]

@zhangzhi

base_compaction_num_threads_per_disk = 2
cumulative_compaction_check_interval_seconds = 2

升级前后有做别的操作么，这两个参数是升级后新增的么？

[zhangzhi]

还有一个
max_runnings_transactions_per_txn_map = 200
从2.4.3升级到2.4.5后，就增加了这三个配置

[zhangzhi]

现在把那三个配置恢复后，有这样一个状况，每个8分钟左右，会有一波慢查询

[zhangzhi]

相同的sql，每隔8分钟左右，就会有一个慢查询高峰，be服务器的负载，io都是升高。
平时执行很简单的sql，到时候会执行很长时间

[zhangzhi]

业务服务报错如下：

Error querying database. Cause: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: transmit chunk rpc failed:5c152ad9-e479-11ed-a982-00163e128318 ### The error may exist in URL [jar:file:/mnt/iss/service/-job/webapp/rinet-job.jar!/BOOT-INF/classes!/mapper/starrocks/OdsOrdersMapper.xml] ### The error may involve defaultParameterMap

[trueeyu]

已确定是统计信息收集导致，可能是宽表统计信息收集导致，需要具体分析下

[Seaven]

问下，你们的导入频率那么高的表一般多大？

[zhangzhi]

多谢大佬技术支持

[Seaven]

另外，show variables like "%statis%"看看？

[zhangzhi]

最大的一张表1T+

[zhangzhi]

问题原因已经找到

[Seaven]

主要是看看引起的原因

[zhangzhi]

关掉统计信息的采集，恢复正常，enable_statistic_collect设置为false，后续我们也看一下如何解决这个