StarRocks BE CPU 使用不稳定

[wxchunjhyy]

【详述】在 Grafana 监控中发现 BE CPU idle 很不稳定，一直在 60% - 100% 间波动，BE 内存使用总体稳定，FE heap 基本文档
【背景】StarRocks 做的数仓，Java 实时、离线导入数据，计算后供给BI、业务系统，基本都是准实时的。BI 有些问题导致打开一个页面会同时来二三十个查询，部分可能还比较大
【业务影响】
【StarRocks版本】2.4.3
【集群规模】3 fe+ 4 be 混部
【机器信息】16C 64G，
【联系方式】社区6群-春江
【附件】

• 慢查询： 挺多的
  • Profile信息
  • 并行度：1
  • pipeline是否开启：开启
  • be节点cpu和内存使用率截图
    
    
    
    
    

fe heap :

[dongquan]

jdbc有使用批量提交方式么？ps aux|grep starrocks_be top -Hp $be_pid 看下峰值时cpu使用状态。并发查询较高时查询会变慢么？当前并行度show variables like “%dop%”;设置的是多大

[wxchunjhyy]

峰值时cpu使用状态：

show variables like “%dop%”：

[dongquan]

看上去是查询导致的。通过在be.INFO中搜索“UncompressedBytesRead： *GB”找到CPU高的时间点附近的日志，找到对应的fragment id，然后通过fragment id找到对应的query id，进而定位到具体的sql。部分时间节点的compaction压力比较大，通过jdbc方式导入数据时选择批量提交，增大单批次导入数据量，降低导入频次。并发查询扫描的数据量大么？

[wxchunjhyy]

没有jdbc 的方式导入数据，初步判断是大查询导致的，开发很喜欢写一堆很长很长的 SQL，关联一大堆表