be宕机,版本2.2.1

使用datax,从mongodb同步数据到sr时,be宕机,此情况只会在2.2.1复现,2.2.0正常

start time: Wed Jun 22 18:38:53 CST 2022
terminate called after throwing an instance of ‘std::bad_variant_access’
what(): std::get: wrong index for variant
terminate called recursively
*** Aborted at 1655894354 (unix time) try “date -d @1655894354” if you are using GNU date ***
PC: @ 0x7f639ca2d387 __GI_raise
*** SIGABRT (@0x7b3f) received by PID 31551 (TID 0x7f62eee9b700) from PID 31551; stack trace: ***
@ 0x3ca57d2 google::(anonymous namespace)::FailureSignalHandler()
@ 0x7f639d4e2630 (unknown)
@ 0x7f639ca2d387 __GI_raise
@ 0x7f639ca2ea78 __GI_abort
@ 0x17b3f6d _ZN9__gnu_cxx27__verbose_terminate_handlerEv.cold
@ 0x5663446 __cxxabiv1::__terminate()
@ 0x56634b1 std::terminate()
@ 0x5663604 __cxa_throw
@ 0x1518b26 std::__throw_bad_variant_access()
@ 0x19258ee starrocks::vectorized::BinaryColumn::append_datum()
@ 0x22d5267 starrocks::vectorized::NullableColumn::append_datum()
@ 0x1602725 _ZN9starrocks10vectorized10JsonReader28_construct_row_in_slot_orderEPN8simdjson8fallback8ondemand6objectEPNS0_5ChunkE.cold
@ 0x25ae445 starrocks::vectorized::JsonReader::_construct_row()
@ 0x25b216b starrocks::vectorized::JsonReader::_read_rows<>()
@ 0x25ae781 starrocks::vectorized::JsonReader::read_chunk()
@ 0x25aeaec starrocks::vectorized::JsonScanner::get_next()
@ 0x259c1e0 starrocks::vectorized::FileScanNode::_scanner_scan()
@ 0x259db3f starrocks::vectorized::FileScanNode::_scanner_worker()
@ 0x56dd7d0 execute_native_thread_routine
@ 0x7f639d4daea5 start_thread
@ 0x7f639caf59fd __clone
@ 0x0 (unknown)

INFO日志表现为接收到new income streaming load,之后就没有日志了

您好,您的意思是同样的任务在2.2.0跑没有问题,2.2.1会稳定复现be挂掉的现象?麻烦发一下be.out日志

是的,2.0.0-dev版本没问题。
be.out (1.7 KB)

好的,了解,请问您方便提供一下core文件吗?

core文件是指哪一些?log里没看到

如果将脚本修改为
“column_separator”: “\x01”,
“row_delimiter”: “\x02”

不使用json的话,就正常,猜测是json解析出了问题

您好,原来您的行列分隔符不是16进制这样表示的嘛?

"loadProps": {
    "format": "json",
    "strip_outer_array": true
}

按官方文档,换成json格式导入,就不需要配置分隔符了吧,用json就会异常,但奇怪的是,json在sr老版本并不会出问题。

可以拿到具体失败的json消息么?
或者配置ulimit -c unlimited,进程崩溃会在be部署根目录下生成一个core文件,这个提供给我们也是可以的。

您好,请问您的问题还存在吗?方便做下这个操作提供下core文件吗?“配置ulimit -c unlimited,进程崩溃会在be部署根目录下生成一个core文件”