sr会频繁请求hive的COLUMNS_V2的元数据吗

💬 StarRocks 用户问答 日常运维
#1

为了更快的定位您的问题，请提供以下信息，谢谢
【详述】问题详细描述
【背景】做过哪些操作？
【业务影响】
【是否存算分离】
【StarRocks版本】例如：1.18.2
【集群规模】例如：3fe（1 follower+2observer）+5be（fe与be混部）
【机器信息】CPU虚拟核/内存/网卡，例如：48C/64G/万兆
【联系方式】为了在解决问题过程中能及时联系到您获取一些日志信息，请补充下您的联系方式，例如：社区群4-小李或者邮箱，谢谢
【附件】

  • fe.log/beINFO/相应截图
  • 慢查询：
    • Profile信息
    • 并行度：show variables like ‘%parallel_fragment_exec_instance_num%’;
    • pipeline是否开启：show variables like ‘%pipeline%’;
    • be节点cpu和内存使用率截图
  • 查询报错：
  • be crash
  • 外表查询报错
    • be.out和fe.warn.log

版本 3.3.13， k8s部署的存算分离， 建立了外部hive_catalog

请问下 sr会频繁请求 hive的元数据吗
sql 类似如下

select “CD_ID”, “COMMENT”, “COLUMN_NAME”, “TYPE_NAME” from “COLUMNS_V2” where “CD_ID” in (1648197,1648198,1648200,1648201,1648202,1648203,1648206,1648207,1648211,1648212,1648214,1648215,1648216,1648217,1648222,1648226,1648227,1648229,1648231,1648232,1648233,1648234,1648235,1648237,1648238,1648239,1648240,1648241,1648242,1648245,1648246,1648247,1648248,1648249,1648250,1648251,1648252,1648253,1648254,1648257,1648258,1648259,1648261,1648262,1648263,1648264,1648265,1648266,1648267,1648269,1648270,1648271,164827)

现在每分钟都有请求，这个有办法可以降低频率吗

#2

图片
图片1242×716 365 KB

这个是查询一个表的hive分区语句，看基本每次都是扫全部的分区，频次很高，后台的background_refresh_metadata_interval_millis 的参数 改成了30分钟，怎么还是扫的这个频繁，这个表不会这么频繁的查全表的分区的，按照https://docs.starrocks.io/zh/docs/3.3/data_source/catalog/hive_catalog/文档上的元数据自动异步更新 只会更新查询到的分区 ，应该不会这样更新全部数据呀

看底层的fe日志

Expect to fetch 3731 partitionStats on [ads_db.ads_fina_orders_hi], but actually fetched 0 partition

这个表是一致没请求成功吗

京ICP备2022026421号-1