想问下大家目前有使用SR当做ADHoc查询引擎吗?
目前我们主要使用SR聚合表当做ADHoc报表引擎,好处是flink直接写入聚合表 后台自动compaction聚合
但是目前遇到一个问题是随着聚合表变大,每次增加一个key列非常慢,因为会对数据重构,甚至要十几个小时,并且对flink实时写入压力也很大,想问下大家有遇到类似的问题吗?或者还有什么别的新架构吗?
想问下大家目前有使用SR当做ADHoc查询引擎吗?
目前我们主要使用SR聚合表当做ADHoc报表引擎,好处是flink直接写入聚合表 后台自动compaction聚合
但是目前遇到一个问题是随着聚合表变大,每次增加一个key列非常慢,因为会对数据重构,甚至要十几个小时,并且对flink实时写入压力也很大,想问下大家有遇到类似的问题吗?或者还有什么别的新架构吗?
写到paimon再用sr查呢
目前我们还用过paimon paimon可以应对这种情况吗?