32线程2000个表删除15天数据,再入15天数据fe.test.zip (1.1 MB)
你有JDBC外表?
调下fe.conf jdbc_meta_default_cache_enable=true jdbc_meta_default_cache_expire_sec=60000 这样试试
好的 是从mysql的catalog直接insert into xxx select myqlcatalog.xxx导入数据。
有效果吗
有效果,确实没有锁了,但是fe之间会一直同步啥数据导致机器间流量下不来,没有请求也是,io也高,不确定是什么问题,我关闭再试试
有多大流量啊
可以打个Jstack分析下
主fe节点流出几十M每秒,两个fowller流入也是几十M,关闭jdbc_meta_default_cache_enable=false也一样持续,如果是同步元数据,也不应该一直持续 jstack.txt (174.7 KB)
3个线程并发删除表,创建表,从mysql catalog insert into (x1,x2…) select (x1,x2…) from cataglog.mysql.xxx 就能把其中一个机器搞到卡死,机器没有死,但是连不上,也不会重启,这个情况整的有点不敢用了
机器已经升级到32G 8核了,fe 12G, be 12G
set global cbo_enable_low_cardinality_optimize=false; set global low_cardinality_optimize_v2=false; 试试