【详述】starrocks 单个BE节点CPU负载很高,其它BE 一切正常
【背景】就是常规操作,没有其它特殊的设置
【业务影响】
【StarRocks版本】2.0.9
【集群规模】6fe(3 follower+3observer)+5be(fe与be单独部署)
【机器信息】不确定
【附件】
- be节点cpu和内存使用率截图 ,查看附件
【详述】starrocks 单个BE节点CPU负载很高,其它BE 一切正常
【背景】就是常规操作,没有其它特殊的设置
【业务影响】
【StarRocks版本】2.0.9
【集群规模】6fe(3 follower+3observer)+5be(fe与be单独部署)
【机器信息】不确定
【附件】
为什么要部署这么多的fe呢?
为了抗并发,之前3个FE的时候查询耗时比较严重,FE master 节点任务比较重, 后续就增加了observer 节点,同时前端查询代理去掉了master节点
您好,方便加下微信,提供下更详细的信息吗?
pstack.txt (452.6 KB)
pstack 显示活跃线程都在进行 routine/stream load 导入任务。因为只有 12 个活跃的 “FileScanNode::_scanner_worker” 线程,没有活跃的查询任务,而 2.0 版本的 FileScanNode::_scanner_worker 线程没有命名,所以和父线程的名称“FragmentMgrThre”一样。
perf record -F 99 -ag -p 54614 – sleep 60
perf script | ./stackcollapse-perf.pl | ./flamegraph.pl > profile.svg
麻烦用flame graph,看一下CPU耗费在哪了。
https://github.com/brendangregg/FlameGraph
楼主,最后解决了吗?我这现在也是碰到一个 BE节点负载高,其它BE 节点正常,磁盘的IO 超高400MB/s 不知道在做什么
2.0.9版本bug,修复代码https://github.com/StarRocks/starrocks/pull/9672
perf top 看一下
现在不好看了,持续半个小时左右 自己下去了,flink-cdc 任务都中断了
用搜索引擎找isolate_freepages_block相关问题的解决方案(与linux内核的内存分配机制有关系,可以尝试调整下系统相关的参数)