flink同时写入多表性能慢

flink消费kafka数据处理后用SideOutput劈成40个流,同时向starrock一个库的40个表写入数据,速度非常慢,一分钟只能写几十M。改成只写一个表后速度很快,一分钟2G左右,请问有什么方法可以优化多表写入速度吗?

配置:
fe *3 24core 64mem
be *6 24core 64mem

请问这个有解决方案了吗?

这个我看SideOutput 是复制40份数据 慢是肯定的 这个只能优化flink 那边https://nightlies.apache.org/flink/flink-docs-master/zh/docs/dev/datastream/side_output/

应该是网页翻译有问题,sideoutput恰恰是避免了复制,是拆分不是复制。

能给出具体的source,filter,map,和sink等算子的内容吗?大家可以具体分析一下