【详述】starrocks的ods层数据是用cdc实时接入进来的,那怎么在starrocks实现ods层到dwd,dim,dws和ads层的数据实时处理
【背景】starrocks的ods层数据是用cdc实时接入进来的,在starrocks建模ods,dwd,dim,dws和ads层,ods层数据是实时更新的,但是后续的dwd,dim,dws和ads层数据是如何才能实现实时处理;
目前是通过dolphinscheduler任务调度器定时调度,将数据从ods层定期处理,实现ads层数据实现,相当于被动触发,不能实现ods层有数据变动时自动触发,去主动实现ads层数据处理
【StarRocks版本】2.5.2
【集群规模】3fe（1 follower+2observer）+3be（fe与be混部）
【联系方式】392388393@qq.com
1赞
ods层到dwd,dim,dws和ads层的数据实时处理可以尝试使用物化视图的方式。