请问flink connector有错误行过滤的设置吗？

[dong]

请问starrocks中flink connector有类似routine load的 max_error_number配置吗？
现在的场景是源头的数据有问题，导致sink到starrocks时会报错，流程进行不下去了，有没有相关的配置可以忽略错误行数呢？类似routine load那样，设置最大过滤错误行数。

[dong]

使用该配置sink.properties.max_filter_ratio

[U_1661239576674_7420]

你好，设置这个参数就可以吗，为什么我设置了，遇到脏数据还是会报错呢。

我是这样设置的
.withProperty(“sink.properties.max_filter_ratio”,parameterTool.get(“MAX_FILTER_RATIO”))
.withProperty(“sink.buffer-flush.interval-ms”, parameterTool.get(“INTERVAL_MS”))
.build(),

[dong]

有可能是脏数据的条数大于你设置的这个比例数了。

[U_1616566230846_9994]

调大这个参数的话，最好暴露出来对应的 flink metrics，防止由于真实错误过滤大批数据。