Flink写入SR过慢

为了更快的定位您的问题,请提供以下信息,谢谢
【详述】Flink写入SR过慢
【背景】Flink写入SR过慢
【业务影响】
【StarRocks版本】例如:2.5.10
【集群规模】例如:3fe(1 follower+2observer)+3be(
【机器信息】CPU虚拟核/内存/网卡,例如:48C/128G/万兆
【表模型】例如:明细模型
【导入或者导出方式】例如:Flink
【联系方式】为了在解决问题过程中能及时联系到您获取一些日志信息,请补充下您的联系方式,例如:社区群4-小李或者邮箱,谢谢
【附件】

  • fe.log/be.INFO/相应截图
  • 完整的报错异常栈

是不是应该修改配置参数?目前这个是每分钟写入一次看的最多的就是写入间隔问题了,还是定位性能瓶颈?如何定位呢

效率更高推荐用At-least-once
At-least-once导入频率受以下3个参数限制
sink.buffer-flush.max-bytes // 默认值是94371840(90M),the max batching size of the serialized data, range: [64MB, 10GB] .
sink.buffer-flush.max-rows // 默认值是500000,the max batching rows, range: [64,000, 5000,000] .
sink.buffer-flush.interval-ms // 默认值是300000,the flushing time interval, range: [1000 ms , 3600000ms] .

可能会重复写入,需要你保证幂等性。
可以提高flink 并发加速写入