starrocks 单个BE节点CPU负载很高,其它BE 一切正常

【详述】starrocks 单个BE节点CPU负载很高,其它BE 一切正常
【背景】就是常规操作,没有其它特殊的设置
【业务影响】
【StarRocks版本】2.0.9
【集群规模】6fe(3 follower+3observer)+5be(fe与be单独部署)
【机器信息】不确定
【附件】

为什么要部署这么多的fe呢?

为了抗并发,之前3个FE的时候查询耗时比较严重,FE master 节点任务比较重, 后续就增加了observer 节点,同时前端查询代理去掉了master节点

您好,方便加下微信,提供下更详细的信息吗?

pstack.txt (452.6 KB)

pstack 显示活跃线程都在进行 routine/stream load 导入任务。因为只有 12 个活跃的 “FileScanNode::_scanner_worker” 线程,没有活跃的查询任务,而 2.0 版本的 FileScanNode::_scanner_worker 线程没有命名,所以和父线程的名称“FragmentMgrThre”一样。

perf record -F 99 -ag -p 54614 – sleep 60
perf script | ./stackcollapse-perf.pl | ./flamegraph.pl > profile.svg
麻烦用flame graph,看一下CPU耗费在哪了。
https://github.com/brendangregg/FlameGraph

楼主,最后解决了吗?我这现在也是碰到一个 BE节点负载高,其它BE 节点正常,磁盘的IO 超高400MB/s 不知道在做什么

2.0.9版本bug,修复代码https://github.com/StarRocks/starrocks/pull/9672

大佬,我的是2.1.3 版本的,就一台be01 的 IO 负载很高,如下图,需要怎么办呢?

perf top 看一下

现在不好看了,持续半个小时左右 自己下去了,flink-cdc 任务都中断了

perf top 截图如下:

iotop 截图如下:

最新iotop

用搜索引擎找isolate_freepages_block相关问题的解决方案(与linux内核的内存分配机制有关系,可以尝试调整下系统相关的参数)