核实出来了,取的是上一轮计算的hdfs数据问题,上一轮计算时先删除hot分区的数据然后再把hot数据重算,但是SR同步的时候取了上一次的hdfs数据问题
在回收站找到了:
我理解的是 这种情况一般是2种可能。
1、数据正在写入,这时候查询就出问题,因为把原来数据删除了。就找不到了。
2、没有更新元数据的原因,3种方式更新元数据
2.1、增量更新元数据
2.2、定时更新元数据。
2.3、执行之前命令手动更新元数据。
第一点不会存在这种情况,
第二种有可能是是元数据没有更新,但是手动刷新表也是一样的问题,元数据没更新过来
我的版本是2.3.5.也是刚才遇到了这个问题,我的数据是hive写入的,数据是凌晨6点更新的。
有一个节点死活更新不了元数据(我已经配置了增量更新元数据并且eventid一直在增加)
老是找不到文件。其他FE节点都可以查,唯独这一个节点不行。手动刷新也报找不到文件这个错。
我重启FE服务。就好了。
但是也不能每次都重启。我也在排查当中了。
我的是2.3.2,我的没有固定节点,目前主要在做数据同步的时候会有这个问题,目前如果hive外部表同步出现这种就采用broker load的方式。这样目前也能解决这个问题。绕一下
我之前也是2.3.2.这个版本没有做防御性检查,2.3.4才做的。所以你升级到2.3.5再试试?
emmmm。虽然我2.3.5也遇到了这个问题。啊哈
已经上线了 版本不太好换了