如何支持多表写入/更新单表的不同列

【详述】这边因为数据源主要来源于严格遵循三范式的SAP系统,导致建大宽表/流时,需要关联大量的从表,在实时场景下大量join肯定会导致性能不佳。
【背景】因此这边考虑的优化方案是(前提是多表关联都用同一个主键),在StarRocks建立一个包含全部字段的更新模型大宽表,除了主流往里面写入外,其他从表的数据源也分别都建立一个实时同步任务(这里倾向于使用flink-connector-starrocks写flink任务),把从表要关联上大宽表的字段,通过主键列匹配给关联上。等于把原本放flink的join操作,通过StarRocks的更新操作给替换了。
目前担心的问题是:
0、该模式是否实际上可行?
1、该场景是否在StarRocks可设置为partial update即只更新部分列的列更新模式?如果不行,只能更新整行,是否需要担心两个同步任务同时更新一行造成的死锁?
2、更新模型可能在同步任务上线后,同主键数据积压了太多版本的数据,导致查询时的性能问题(merge on read),是否支持限制可保留的版本数?
3、在时效性要求强的场景,同步任务的微批最小允许时长/记录数是多少,而不会在大数据量场景造成性能问题?(我知道OLAP更适合高吞吐大批量的处理场景,但有时候就没法攒太久)
【业务影响】无
【是否存算分离】否
【StarRocks版本】3.2
【集群规模】3fe+3be
【机器信息】CPU虚拟核/内存/网卡,例如:48C/94G/万兆
【联系方式】请直接在社区联系我,谢谢
【附件】
无,目前还处于规划阶段

0.可行 1.可以的 不用担心锁问题 2.这个不可以 3.推荐15s左右一批

感谢解答 :pray:

1赞