目前ETL部分和模型相关的任务中是有抽样的,我们在把这一块的逻辑迁移到starrocks的时候,发现starrocks中没有抽样的函数,这让我们要么用sr的udf函数实现,要么用spark实现,经过研究sr的udf函数并不能实现,且看之前论坛反馈,udf函数似乎有性能问题,因为我们只能用spark来实现,先用spark读sr的表,抽样完成之后再写会sr。
因此希望sr的小伙伴在后续的更新中,能实现这个函数,或者有其他啊更好的建议?
1赞