Flink导入数据,有没有部分字段更新解决方案?

【详述】Flink DataStream方式导入数据到Starrocks2.5,发现没有部分字段更新的模型。
【导入或者导出方式】Flink DataStream
【导入过程相关代码描述】Flink取读本地文件,将文件中的Json转成与Starrocks对应表的entity,写好对应的Schema后,通过StarrocksSInk将数据写入Starrocks。
【导入过程相关代码截图】


【问题点】官网代码示例中需要在StarRocksSinkOptions中配置主键以及需要更新的列,但是如果我要更新的列有N个,是不是就要写N个StarRocksSinkOptions来实现,有无更好的解决方案呢
例如:方案A: 在执行更新操作前,从SR查一次数据,在FLink端将SR查到的结果与本地数据合并,最后插入SR。 因为需要与FE交互,担心影响写入效率。
方案B: 增加Redis/Hbase/mongo 缺点是需要额外考虑,与SR数据一致性的问题。
综上,想咨询以下各位大佬,有么有遇到这种场景呢,有没有好的解决方案
【联系方式】yangyuelong8888@163.com

st支持update主键呀,看看flink支不支持


我使用的是 StarRocks 提供的 Flink connector ,现在每一个StarRocksSinkOptions.builder 中只能配置更新一个列,如果表中字段过多,需要配置N个StarRocksSinkOptions.builder 来实现。太麻烦了

老哥后来怎么解决的?不适用flink sink,直接update是不是也可以解决 :joy: