【详述】问题详细描述
kafka过来的数据中理论上都是json格式,但是因为操作失误出现了“1737650499,“Id”:1965653,“xxxxx”:false}”这样的数据
【背景】做过哪些操作?
routine load一直在自己重试,没有跳过该行
【业务影响】
相关kafka partition堆积很严重
【是否存算分离】
否
【StarRocks版本】例如:2.5.3
【集群规模】例如:3fe(1 follower+2observer)+5be
【机器信息】CPU虚拟核/内存/网卡,例如:16C/64G/万兆
max_error_number试试这个参数看看呢
max_error_number=1000000
errorRows一直是0
没有其他办法了吗?
json 格式解析出现问题时是会卡住的,这种没法忽略,这种通过max_error_number这些配置无法控制。可能会导致丢失数据。需要对上游脏数据进行清理。