Starrocks概率性无法创建动态分区

【详述】Starrocks概率性无法创建动态分区,同样的建表语句,有时候可以成功创建分区,有时候不行。
【背景】做过哪些操作?
【业务影响】
【是否存算分离】
【StarRocks版本】2.5.20
【集群规模】3fe+3be 单独部署
【机器信息】fe: 4C/16G be:2C/16G
【联系方式】为了在解决问题过程中能及时联系到您获取一些日志信息,请补充下您的联系方式。
社区群16群-巴伦支海手术刀,18852852213(微信号)
【附件】
建表语句



create_dynamic_partition_1和create_dynamic_partition_2前后脚创建的,1就有分区,2没有。。。

fe相关日志,create_dynamic_partition_2到successfuly create table就结束了,fe.warn.log没有相关日志
下面是3个BE的warning日志。create_dynamic_partition_2创建时间为0520-13:55:55左右,所以截取了前后几分钟的日志,有需要可以贴更多。


这是今天复现的


同样是两张表,建表语句一样create_partitions_2动态分区没有创建出来,create_partitions_1分区创建成功了
create_partitions_1建表语句

create_partitions_2建表语句
image

只有两个字段 :cold_sweat:

fe.tar.gz (11.6 MB) test.create_partitions_8,test.p3 test.p4 test.p5 test.p6,关注这几个表

集群资源使用监控,be规格2c16g * 3 fe规格4c16g * 3 ,fe jvm内存配置12g,使用jdk11,g1gc




test.p8这张表,日志显示已经被调度去创建动态分区了,但是分区确实没有创建出来

2.5版本动态分区不创建问题
1、date类型字段作为分区键,分区粒度为hour,可以成功创建表(3.x在建表的时候会直接报错)。基于该类的动态分区表,动态检测新创建分区报错。
2、报错会导致创建分区失败,且会导致本次检测终止(3.x版本会剔除异常,继续其他表的检测),其他动态分区创建不成功且不打印日志。
3、动态分区检测创建是串行执行的,且队列排序不会改变,也就意味着当一个动态分区表的检测排在异常动态分区表后,这个动态分区表在异常表处理之前不会动态创建出新的分区。