sr查询hive catalog下的库表偶发性查询不到数据的情况

💬 StarRocks 用户问答 功能使用相关
#1

为了更快的定位您的问题，请提供以下信息，谢谢
【详述】使用mysql 客户端查询hive_catalog下的库表时 第一次查询返回空结果集（有表列名），隔了大概一段时间再查又能查到数据了。
【背景】修改了部署架构，共6台内网云服务器，由（3fe+3be） 混搭 +3be单独部署；修改为3fe单独部署+3be单独部署。
【业务影响】
导致业务查询数据不准确
【是否存算分离】
是
【StarRocks版本】3.4.3-a01aa59
【集群规模】3fe+3be（fe与be单独部署）
【机器信息】CPU虚拟核/内存/网卡，FE：32C/256G/万兆 ｜BE：112C/128GB/万兆
【联系方式】wdl3752@163.com/站内联系，谢谢
【附件】

  • fe.log/beINFO/相应截图
  • 慢查询：
    • Profile信息
    • 并行度：show variables like ‘%parallel_fragment_exec_instance_num%’;
    • pipeline是否开启：show variables like ‘%pipeline%’;
    • be节点cpu和内存使用率截图
  • 查询报错：
  • be crash
    • be.out
  • 外表查询报错
#2

refresh external table <hive catalog表> ;
之前之前刷新元数据试试

#3

老师，这个我试过了，这个是单表刷新，目前我这边出现大批量这种报错，有没有刷新制定库下的所有表的元数据命令？我drop catalog hive_catalog,并重新建立了CREATE EXTERNAL CATALOG hive_catalog
PROPERTIES (“hive.metastore.type” = “hive”,
“hive.metastore.uris” = “thrift://hadoop24:9083,thrift://hadoop25:9083,thrift://hadoop26:9083”,
“type” = “hive”
)，但是问题还是没有解决。

#4

CREATE EXTERNAL CATALOG hive
comment “HADOOP HIVE”
PROPERTIES (
“hive.metastore.type” = “hive”,
“enable_cache_list_names” = “false”,
“hive.metastore.uris” = “thrift://hadoop24:9083,thrift://hadoop25:9083,thrift://hadoop26:9083”,
“type” = “hive”,
“enable_recursive_listing” = “true”
);

比如加个参数试试呢

#5

好的，我加参数试试，有效果的话，我再反馈。

京ICP备2022026421号-1