查询hive外表数据延迟问题

💬 StarRocks 用户问答 功能使用相关
#1

【详述】使用hive catalog,元数据服务AWS Glue
CREATE EXTERNAL TABLE temp.sr_test(
data_type string COMMENT ‘type’,
data string COMMENT ‘json’)
COMMENT ‘’
row format delimited fields terminated by ‘\t’
stored as orc
插入
insert into temp.sr_test(data_type,data) values (‘1’,‘abc1’);
查询sr，结果有一条数据；
insert into temp.sr_test(data_type,data) values (‘2’,‘abc2’);
查询sr，结果还只有一条数据，但实际有2条数据了。在hive里面查询是有两条数据的，
再查一次又有2条数据，数据是有延迟的，请问如何设置才能使sr查询没有延迟？

【业务影响】
【StarRocks版本】 3.1.2
【集群规模】1fe1be测试中
【机器信息】awls ec2
【附件】

#2

我希望starrocks直接使用aws glue元数据，而不使用元数据缓存，保证查询最新数据的结果一致，请问要设置哪个参数才行？

#3

可以使用周期性刷新元数据的方式，刷新时间按需配置，太频繁的刷新可能会对AWS Glue产生较大的压力 https://docs.starrocks.io/zh-cn/latest/data_source/catalog/hive_catalog#周期性刷新元数据缓存

#5

[quote=“U_1635821686808_1931, post:4, topic:8881, full:true”]
有什么方法关闭元数据缓存吗？每次查询直接使用aws glue元数据。
我设置了
enable_metastore_cache = false
enable_remote_file_cache = false
发现还是无效

#6

这个参数修改后应该需要重启fe，但是肯定要设置一种元数据同步方式的，元数据同步方式目前有3种，具体可以参考上面发的那个链接，可以 把周期性刷新元数据 打开

#7

设置完有重启，但还是无效，
周期性刷新元数据打开了，但是刷新时间太长了，数据会不一致，刷新时间太短了，担心对AWS Glue产生影响，刷新时间不太确定；但是这个还是治标不治本，我们始终无法保证元数据缓存是最新的，要是能直接用aws glue元数据就好了

#8

我们可以查询慢一点，但是如果数据不一致就很麻烦了

京ICP备2022026421号-1