背景:
在搭建数仓分层时, 我们会用 sql 从1张表中按照一定逻辑进行数据的分表处理, 譬如A逻辑入A表, B逻辑入B表 …
现有的做法是: 处理每个逻辑都需要读取源表一次, 导致源表会被重复读取
希望:
有没有类似 Hive 那样:
from a
select * where ** insert b
select * where ** insert c
select * where ** insert d
…
hive 也不支持这种方式吧 我理解当前数据库方面没有支持这种语法糖的 上述的操作我理解是为了降低资源消耗 那可以用flink 流式的去抽取 语法的话 我理解您可以在详细描述下需求 我让产品的研发同学来看下
hive支持这种多表插入的方式, 具体写法就是:
FROM from_statement
INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1,partcol2=val2…) [IF NOT EXISTS]] SELECT select_statement1
[INSERT OVERWRITE TABLE tablename2 [PARTITION … [IF NOT EXISTS]] SELECT select_statement2]
[INSERT INTO TABLE tablename2 [PARTITION … ] SELECT select_statement2]…;
具体需求:
譬如我们这边有很多表是所有事业部的数据集成在一张表里的, 然后我们会按照事业部进行把数据分到相应的表中
虽然能使用 spark 进行处理得到同样的效果, 但是能用 sql 解决的尽量用sql开发, 门槛低, 能够敏捷开发
理解了 这个我给产品的同学提个改进 感谢