三个节点下CPU 分布不均匀问题

[whocare]

【详述】三个节点下CPU 分布不均匀问题（红框中的三台）

【背景】
1.第一次同步mysql -> starRocks 时 发现磁盘爆满。
2.be下面有个storage目录里面有个data目录，之前磁盘满了，把data目录mv出来了，新挂了大的磁盘，
又把data里的数据mv回去了
3.紧接着发现了 很多 unHealthTables
【业务影响】

1. 36 （详述图片共三台机器 35，36，37）这台机器 业务出现 大量unHealthTables
2. 目前导入时出现 too many versions;(已经改为10s导入一次之后，经过2天之后还是一直出现该错误)
   【StarRocks版本】2.5.4
   【集群规模】例如：3be + 3fe (每台机器 1be +1fe)
   【机器信息】CPU虚拟核/内存/网卡，4C/32G/万兆
   【联系方式】社区群10-wait
   【附件】

• show backends\G
  
  
• SHOW PROC ‘/statistic’;
  
  
• SHOW PROC ‘/statistic/10163’
  
  
• 查看数据块里面的信息
  
  
• table里面报以下错误
  
  
  
  【注意事项】
  1.由于日志文件近期清理过 所以无法提供相应的fe be 日志。新增的日志可以实时协助查看
  2.表都是 3副本，主键模型。

3. be.conf中的storage_root_path 没有修改过。只是mv了 be下面storage目录里面的data目录
   4.集群重启过，也还是没解决问题。
   【最终要求】（猜测都是 36这台机器 mv 目录yin）
   1.cpu，内存 按道理说应该是均匀分布的
   2.unHealthTables 变为 0
   3.too many versions 变为正常

[dongquan]

挂载磁盘耗时了很久么？UnhealthyTabletNum的数量有变化么？如果是降低的慢的话设置下这个参数加速下修复 ADMIN SET FRONTEND CONFIG (“tablet_sched_slot_num_per_path” = “16”);

[whocare]

挂在目录等待了1个多小时吧。
UnhealthyTabletNum数量一直没有减少过。现在导入频率已经降低了 还是未降低。
我这感觉是因为 目录坏掉了，一直修复不成功。

我这可以尝试新增一个新的节点，等待数据分布均匀之后，在把之前这台36的机器节点 替换掉吗？

[dongquan]

是的，感觉36这个节点的数据目录有问题，请确认下这块盘有挂载成功么？条件允许的话，可以先扩个节点进来修复三副本，再定位下36节点的问题。

[whocare]

1.

是通过这里进行扩容吗？
2.之前36这台存在的坏数据块，会不会也均衡到新的节点上呢？
3.我们怎么确认 数据已经完全的均衡完毕且状态正常。
4.全部副本均衡完毕之后 ，在安装官网上进行缩容吗？

[dongquan]

扩容方式就是您看的这部分，在一个新的节点上部署一个新的be，假设这个节点是99，然后通过上面的命令添加99到集群中来。添加后会进行副本修复。show backends;结果上会显示分片数，多节点分片数量接近，并且无不健康副本，show proc "/cluster_balance"结果中pending_tablets为0则数据均衡完成。数据均衡完成后，再检查下36节点，没有问题再重新加到集群中来。36加入后数据完成balance，再将99下掉。或者集群中如果都是三副本的表的话，直接将36完全下线，再添加到集群中来。

[whocare]

现在 pending_tables 的数量 维持在 2000左右。
查看show proc “/cluster_balance/pending_tables” 出现上述的错误：unable to find source