datax stream load 同样的配置,小数据量可以,大数据量同步会报分割符有问题

【详述】客户在使用datax进行数据同步时,先做了小数据量的测试,是可以正常同步的,但是换成3亿的大表发现报错,后面又拆成百万级别的表依旧报错,不断测试调整配置发现,只有在批次字节大小小于1000万时,可以正常同步,超过后,稳定报错复现。
【背景】
【业务影响】 无法正常同步,只能控制最大批次字节大小来保证任务运行,速度太慢
【StarRocks版本】例如:客户2.5,本地2.3.1
【集群规模】例如:本地1fe+1be
【机器信息】CPU虚拟核/内存/网卡,例如:48C/64G/万兆
【联系方式】768472457@qq.com
【附件】


如果超过就会报行分隔符识别问题

尝试用json格式去导入 没有分隔符 可以尝试验证下

我本地测试用json格式导入成功了

但是用csv格式为啥不行呢?如果是分隔符有问题,我调节批次字节大小又可以正常执行,这种情况有碰到过吗?