BE进程退出

【详述】BE进程退出
【背景】大数据量Routine Load时,BE被Kill
【业务影响】
【StarRocks版本】1.19.2
【集群规模】3fe(1 follower+2observer)+4be(fe与be混部)
【机器信息】CPU虚拟核/内存/网卡,例如:48C/64G/万兆
【附件】
be.out


dmesg

be的配置:512G+SSD+64C

19个Routine Load任务
max_batch_interval = 5

be.conf

fe.conf

这个是librdkafka这个第三方库的bug, 如果kafka里的数据不是lz4压缩的话, 可以用老的库, 重新打包一个版本可以, 规避这个问题

谢谢回复,但数据都是一个java程序的producer写进来了,如果有问题,应该是每个be都会挂掉吧。并且一但routine load consume到数据,就会异常挂掉才对呀,难道数据到kafka里时,kafka会自己决定用什么算法压缩吗?

也有人说是compaction不过来导致的

不是, 我们现不没查出根本原因, 但是现在有一个临时的解决方案, 在第三方库里, 把这个assert去掉, 然后重新编译一个版本, 在有的用户那里测试过, 是没问题的。 https://github.com/edenhill/librdkafka/issues/3608 这个库的作者还没有解决这个问题