我们这边有这样的一个需求:目前是每天定时通过broker load方式将hive数据导入sr的明细表中,不是分区表,而每天导入数据之前,需要先删除sr里的数据,然后再通过broker load导入数据,直到导入完成数据的这段时间区间,表中都是没有数据的,导致无法查询数据,有什么办法使用broker load以覆盖的方式导入数据,在导入完成之前还可以查询之前的数据呢?
目前应该是没有这样的参数可以设置的,复杂的方式就是先导入到一张临时表,在通过swap table原子替换的方式实现吧
正解~
后续是否有规划实现类似 INSERT OVERWRITE 这种覆盖方式broker load导入数据?
可以先broker load到临时分区,导入完成后,临时分区替换正式分区
那估计还要等着呢,多种导入方式都想要这样的功能呢,而且也想支持多分区的覆盖写