SR是否支持构建轻量级离线数仓?

问题:SR是否支持构建轻量级离线数仓?
场景:我司希望一套平台解决离线,实时一体化;白天希望在SR中做实时OLAP,及flink实时数据摄入;
晚上基于SR构建离线数仓(ods dwd dws)用于历史数据大批量汇总;基于这种场景SR是否可以支撑,社区有没有一些类似的案例分享?谢谢

麻烦确认下我们白天flink实时数据摄入的时延要求是多少?

数据延迟一分钟以内,目前flink的checkpoint是15秒

好的,StarRocks完全可以胜任这个场景,15秒是最推荐的配置,我们整体测试下来,是哪一块有阻碍吗?

目前我公司主要是在调研一些方案,如上我所说的。通过cdc实时拉取mysql数据到SR中,同时还有埋点数据写入,olap场景我们测试的,完全没问题的!
主要是疑问是:在SR构建离线数仓这个方案是不是可行的?基于传统的分层(ods dwd dws)晚上跑按月,按季度汇总的批计算。离线的场景也基于SR构建是否可能?

没问题,是可以的,具体参考的案例可以关注StarRocks公众号,专栏下有离线的场景,可以供我们参考

是否有只使用starrocks就可以完成离线计算的方案

sr的离线计算相对于hadoop那套成熟度没有那么高,3.x版本刚刚支持算子落盘。如果你的离线计算比较复杂而且产生的数据对业务非常重要。作为非官方人员建议你好好考虑一下。

1赞