【详述】通过flink connector写入starrocks报错
具体错误:
{“Status”:“Fail”,“BeginTxnTimeMs”:0,“Message”:“Fail to load files. tablet_id: 4895055, txn_id: 2353607, backends: 10002:100.2.1.211”,“NumberUnselectedRows”:0,“CommitAndPublishTimeMs”:0,“Label”:“58f7a786-a43f-4ba3-a9b3-05d788609789”,“LoadBytes”:853,“StreamLoadPutTimeMs”:0,“NumberTotalRows”:1,“WriteDataTimeMs”:10,“TxnId”:4895055,“LoadTimeMs”:12,“ReadDataTimeMs”:0,“NumberLoadedRows”:1,“NumberFilteredRows”:0}
【背景】使用datastream api 进行表数据写入starrocks
【业务影响】导致flink任务失败
【StarRocks版本】2.3.0-RC01-e14245a
【集群规模】3fe+3be
【机器信息】每机器8C/32G/万兆
【附件】
- fe.warn.log/be.warn.log/相应截图
- 慢查询:
- Profile信息
- 并行度:show variables like ‘%parallel_fragment_exec_instance_num%’;
- cbo是否开启:show variables like ‘%cbo%’;
- be节点cpu和内存使用率截图
不会经常出错,偶尔会爆出这个错误导致任务失败,一旦报错数据修复起来很有挑战,麻烦懂的大神帮忙看一下,谢谢。