BE资源急剧上升,直接卡死

32线程2000个表删除15天数据,再入15天数据fe.test.zip (1.1 MB)

你有JDBC外表?

调下fe.conf jdbc_meta_default_cache_enable=true jdbc_meta_default_cache_expire_sec=60000 这样试试

好的 是从mysql的catalog直接insert into xxx select myqlcatalog.xxx导入数据。

有效果吗

有效果,确实没有锁了,但是fe之间会一直同步啥数据导致机器间流量下不来,没有请求也是,io也高,不确定是什么问题,我关闭再试试

fe.test.zip (905.9 KB) 麻烦帮看下这是干啥,库里表7千多点,这个日志是没有请求的时候

有多大流量啊

可以打个Jstack分析下

主fe节点流出几十M每秒,两个fowller流入也是几十M,关闭jdbc_meta_default_cache_enable=false也一样持续,如果是同步元数据,也不应该一直持续 jstack.txt (174.7 KB)

fe有不少统计错误fe.out.zip (1.9 MB)

3个线程并发删除表,创建表,从mysql catalog insert into (x1,x2…) select (x1,x2…) from cataglog.mysql.xxx 就能把其中一个机器搞到卡死,机器没有死,但是连不上,也不会重启,这个情况整的有点不敢用了

机器已经升级到32G 8核了,fe 12G, be 12G

set global cbo_enable_low_cardinality_optimize=false; set global low_cardinality_optimize_v2=false; 试试