BE节点宕机,je_large_dalloc

【详述】be节点宕机,日志关键词:je_large_dalloc
【背景】做过哪些操作?无
【业务影响】
【是否存算分离】
【StarRocks版本】2.5.12
【集群规模】3fe(3 follower)+ 14be(fe与be单独部署)
【机器信息】CPU虚拟核/内存/网卡,64C/256G/万兆
【附件】
宕机时间是2023-12-21 08:42
be.out:
be.out (3).zip (32.4 KB)

be.warn:
be.WARNING.log.20231019-175636.zip (33.0 MB)

be.info:
be.INFO.log_00.zip (62.6 MB)
be.INFO.log_01.zip (63.0 MB)
be.INFO.log_02.zip (2.9 MB)

好的收到 已经提交跟进了 我们先定位分析下

请问有什么结论吗

你用了 select into outfile 功能 ?

是的,有用到这个

be节点经常宕机和用到这个有关系吗,今天凌晨又宕机了一个节点,平均一个星期宕机一两次

今天凌晨的宕机,我已经把相关日志贴在了这个帖子上:
BE节点宕机,get_column_ptr - :speech_balloon: StarRocks 用户问答 / 功能使用相关 - StarRocks中文社区论坛 (mirrorship.cn)

这个功能,2.5上有BUG,对于字符串的导出,2.5上相当于还没正式发布

不建议使用,是select into outfile导致的

我们文档里都写这个功能,你是怎么知道这么用的。

对应的表结构,和 select into outfile语句发下?

SELECT UNNEST AS fuid, fcreate_time FROM pre_dp_portrait.user_group_results, UNNEST(BITMAP_TO_ARRAY(fuid)) WHERE fuser_group_id = 11551 ORDER BY UNNEST DESC LIMIT 0,1000000 INTO OUTFILE ‘hdfs://hacluster/data/tmp_portrait/pre_dp_label.db/user_group_results/dt=2023-05-13/user_group_id=11551/0_’ FORMAT AS CSV PROPERTIES( ‘broker_name’ = ‘hdfs_broker’, ‘username’ = ‘biadmin’, ‘column_separator’ = ‘\t’, ‘line_delimiter’ = ‘\n’, ‘max_file_size’ = ‘128MB’ );

这不是这个SQL,执行就挂?

加个微信聊下,我们最近在优化Bitmap这块?

应该不是,类似的SQL有很多,这SQL是系统代码生成执行的,这是其他同事搞的