IO突刺问题

Panzervi · 2023年09月12日 01:52

版本：2.5.9
3fe 3be 混合部署 32c 256G

try to perform path gc by tablet
finished one time path gc by tablet
这两个命令期间，IO持续100%

Panzervi · 2023年09月12日 01:53

请教下，这两个命令具体是干什么的，怎么减缓IO？

LIANGCHAOHUA · 2023年09月12日 02:04

查询还是导入引起的？

Panzervi · 2023年09月12日 02:07

没有查询和导入。
https://blog.csdn.net/qq_35200943/article/details/128499422

看这个文章，是过期数据导致的么？

LIANGCHAOHUA · 2023年09月12日 02:11

有像升级，扩容等操作吗？

LIANGCHAOHUA · 2023年09月12日 02:12

麻烦发一下磁盘IO高这段时间的be.INFO

Panzervi · 2023年09月12日 02:29

有升级过，从2.4.1升级到2.5.9的
09：29 ~ 09：46 期间做的操作
be.log20230912_09.tgz (70.3 MB)

LIANGCHAOHUA · 2023年09月12日 02:45

升级2.5版本，长期没compaction的tablet同时触发compaction，现在降下来就好了。

Panzervi · 2023年09月12日 02:54

升级到2.5已经一个月了，2.5是新的合并策略，按道理应该早都降下来了

Panzervi · 2023年09月12日 03:02

这个期间是gc操作，跟be合并应该没问题吧

LIANGCHAOHUA · 2023年09月12日 03:06

原来2.5已经升级一个月了。那不是这个问题。FE，BE混部，是用同一块盘吗？FE JVM配置多少？方便发一下fe.gc.log.xxx的日志吗？平常这个磁盘使用率是多少？能发一下监控图吗

LIANGCHAOHUA · 2023年09月12日 03:07

频繁的导入吗？或者delete操作吗？

Panzervi · 2023年09月12日 03:13

fe、be混部的，fe在home下， be在/data下
JVM配置多少 30G
fe.gc.log.20230905-200141.tgz (6.0 MB)

不久前重启过两台fllower fe的jvm 没几天又涨上来了，感觉还是有问题。

Panzervi · 2023年09月12日 03:13

应该没有，生产环境，和之前操作都差不多

LIANGCHAOHUA · 2023年09月12日 03:15

磁盘IO高是/data吧？/home也不高吧，麻烦提供一下be.conf的配置

Panzervi · 2023年09月12日 03:17

be.conf (2.6 KB)

LIANGCHAOHUA · 2023年09月12日 03:17

fe没什么问题，fe也不会造成be的磁盘IO升高的，看be日志是compaction导致IO高。

LIANGCHAOHUA · 2023年09月12日 04:25

BE是一块盘吗？
为什么修改了这三个参数
update_compaction_check_interval_seconds=30
update_compaction_num_threads_per_disk=2
update_compaction_per_tablet_min_interval_seconds=30

Panzervi · 2023年09月12日 04:56

2.4的时候设置的这些参数，升级的时候就也保持了

Panzervi · 2023年09月12日 05:03

目前我们集群be的compaction是不是有问题？

看这个base compaction 一直在涨

另一个集群直接部署的2.5.X的bese compaction ，