Flinksql关联SR的维表,最多能关联几张?

【详述】Flinksql关联SR的维表,最多能关联几张?
【背景】这边流计算,Flink双流JOIN。然后关联了6张SR(主键模型)的维表(Lookup table)。发现好像跑不动。不太清楚这问题应该问Flink还是SR的大佬。
所以想先咨询一下SR工程师大佬几个问题哈。

1、理论上可以最多关联几张维表呢?

2、可以关联多大的维表呢?

3、Flink流计算时候,关联SR维表的时候(关联字段非主键),谓词下推吗?

4、对于我们这个主键模型,如果根据时间分区,会不会出现重复,比如主键是id=001,但是分区为插入时间。在2022-01-01、2022-01-02分别插入这个主键信息。
底层是不是在分区2022-01-01里有一条001的信息,在2022-01-02里也有一条001的信息?
查询出来会有两条?

5、流计算里,主键模型为维表,除了分区,cache,还有其他的优化方案嘛?

6、如果我的SR写为主,读为辅助话(反之),有没有类似于Hbase的读内存和写内存的优化设置呢?

【业务影响】
【StarRocks版本】两套环境:2.1.1 和 2.3.5
【集群规模】3fe(1 follower+2observer)+3be(fe与be混部)
【机器信息】48C/ 500G

1赞

和SR工程师的交流得出结论:
1、不建议SR做Flink的关联维表。
具体关联几张和QPS有关,流速太快效率就会慢。
2、不建议SR做Flink的关联维表。
3、不支持谓词下推。
4、会出现2条数据。这一块SR在优化。预计2.5时候会更新。
5、尽量微批去关联,也就是窗口关联。
5、设置好写内存,设置好总内存,剩下的就是读内存。

SR还有待提升,目前对于基础支持还是很棒的。希望越来越好

1赞