【详述】因宽表由多个表(10张表)JOIN得出,使用了主键模型表的部分列更新功能
【背景】使用flink-connector支持的部分列更新,实现宽表的部门列更新
【业务影响】
【StarRocks版本】2.5.4
【集群规模】3fe+3be
1、主键模型,部分列更新的正确使用方式是什么?我们现在使用过程中,发现由5个表join起来的宽表,每个表的列更新都要启动一个flink任务去更新部分列,这太耗资源了吧。。。正确方式是什么?
【详述】因宽表由多个表(10张表)JOIN得出,使用了主键模型表的部分列更新功能
【背景】使用flink-connector支持的部分列更新,实现宽表的部门列更新
【业务影响】
【StarRocks版本】2.5.4
【集群规模】3fe+3be
1、主键模型,部分列更新的正确使用方式是什么?我们现在使用过程中,发现由5个表join起来的宽表,每个表的列更新都要启动一个flink任务去更新部分列,这太耗资源了吧。。。正确方式是什么?
目前部分列更新需要开启多个flink 任务,每个任务更新一部分列(所有任务都需要带上key列)
我有个疑问,假如是多表多个任务使用部分列更新功能写入同一个表做宽表,那么这个宽表的主键应该是怎么定的?多个表本身是通过外键关联的方式join,那么单个表的flink任务往这个宽表写的时候本身数据没有其他表的主键,这种是如何处理的