【详述】Flink导入设置exactly once导入数据异常,之前没有设置exactly once的时候,数据能够导入,但是设置精准一次之后数据总量在chk完成之后仍没有增加
【背景】
【业务影响】
【StarRocks版本】2.0.1 pom上用的1.1.13
【集群规模】例如:3fe+3be(fe与be混部)
【机器信息】
【附件】
- 请升级最新版的connector
- exactly-once时请将ckp的周期设置的小一些,因为所有周期间的数据都会被缓存在内存中,只有在snapshotstate时才会flush下去。所以数据过多时就会阻塞flink任务。
再问下StarRocks那边的数据模型是?
用的明细模型,问题是我这ckp都完成了,数据还是没增长啊
现在换成at least once也写不进去了,这是啥原因?
请确认您的flink slot还足够,否则任务无法开始或继续进行。
还不行的话请把connector配置以及flink日志发来看下
嗯嗯,我先换成最新的connector试试
像exactly once这样 就对ckp的要求就比较高,延迟低就需要设置ckp的周期小,但是ckp设置的周期小了的话,可能大部分时间都在做ckp了,又反过来会对程序有影响


