【详述】Flinksql关联SR的维表,最多能关联几张?
【背景】这边流计算,Flink双流JOIN。然后关联了6张SR(主键模型)的维表(Lookup table)。发现好像跑不动。不太清楚这问题应该问Flink还是SR的大佬。
所以想先咨询一下SR工程师大佬几个问题哈。
1、理论上可以最多关联几张维表呢?
2、可以关联多大的维表呢?
3、Flink流计算时候,关联SR维表的时候(关联字段非主键),谓词下推吗?
4、对于我们这个主键模型,如果根据时间分区,会不会出现重复,比如主键是id=001,但是分区为插入时间。在2022-01-01、2022-01-02分别插入这个主键信息。
底层是不是在分区2022-01-01里有一条001的信息,在2022-01-02里也有一条001的信息?
查询出来会有两条?
5、流计算里,主键模型为维表,除了分区,cache,还有其他的优化方案嘛?
6、如果我的SR写为主,读为辅助话(反之),有没有类似于Hbase的读内存和写内存的优化设置呢?
【业务影响】
【StarRocks版本】两套环境:2.1.1 和 2.3.5
【集群规模】3fe(1 follower+2observer)+3be(fe与be混部)
【机器信息】48C/ 500G