be节点负载突增,导致fe、be节点超时

为了更快的定位您的问题,请提供以下信息,谢谢
【详述】问题详细描述
【背景】做过哪些操作?
【业务影响】
【是否存算分离】
【StarRocks版本】例如:3.2.15
【集群规模】例如:3fe(1 follower+2observer)+8be(fe与be分开部署)
【机器信息】CPU虚拟核/内存/网卡,例如:80C/512G/万兆
【联系方式】846935874@qq.com

be节点pstack日志

pstack.log (2.9 MB)

be.INFO日志:
be.log (24.4 MB)

image

be节点短暂异常

图里没 BE 的进程呢? pip_wg_executor 是个什么宝贝

主键模型,主键索引的持久化问题。开启磁盘持久化。

enable_persistent_index" = "true

检查了下主键索引都有开启磁盘持久化

遍历一下这个节点下的tablet大小,看下最大的tablet是多少。比如你的数据存在/data1,那么du -s /data1/data/* | sort -k 1 -n -r | head 结果发下,如果有多个存储目录,那么都get一下,然后把结果发一下

/data1目录

/data2目录

看下这个最大的目录,再进一层,du -s /data2/data/34* | sort -k 1 -n -r | head, 拿到top 1,然后 show tablet xxxx;看下这个是不是主键表

tablet id 是哪个?

du -s /data2/data/34/* | sort -k 1 -n -r | head,第一行,第二列第一个,就是最大的tablet,然后执行SQL命令,show tablet xxxx;