【详述】程序1消费kafka数据写入文件,程序2将文件通过curl将文件以stream load方式加载到starrocks,发送文件到starrocks时出现以上错误。发送太慢,导致从kafka消费写的文件的数据产生大量积压。每个文件平均大小为30Mb左右,文件格式为csv数据格式。
【导入/导出方式】stream load
【背景】使用primary key模式,启用部分更新导入数据,每个文件存储相同列数据,实时更新写入
【业务影响】数据积压,写入速度跟不上,写入效率低
【StarRocks版本】2.3.0
【集群规模】1fe(1 follower)+8be(fe与be混部)
【机器信息】CPU虚拟核/内存/网卡,例如:48C/256G/万兆
【附件】
- fe.warn.log/be.warn.log/相应截图