starrocks用K8S部署，prometheus 监控怎么做

💬 StarRocks 用户问答 日常运维
#1

为了更快的定位您的问题，请提供以下信息，谢谢
【详述】问题详细描述
【背景】做过哪些操作？
【业务影响】
【是否存算分离】
【StarRocks版本】例如：1.18.2
【集群规模】例如：3fe（1 follower+2observer）+5be（fe与be混部）
【机器信息】CPU虚拟核/内存/网卡，例如：48C/64G/万兆
【联系方式】为了在解决问题过程中能及时联系到您获取一些日志信息，请补充下您的联系方式，例如：社区群4-小李或者邮箱，谢谢
【附件】

  • fe.log/beINFO/相应截图
  • 慢查询：
    • Profile信息
    • 并行度：show variables like ‘%parallel_fragment_exec_instance_num%’;
    • pipeline是否开启：show variables like ‘%pipeline%’;
    • be节点cpu和内存使用率截图
  • 查询报错：
  • be crash
  • 外表查询报错
    • be.out和fe.warn.log

目前starrocks 是用 Operator 部署的，
已经按照这个开启了metrices的

这个该怎么集成外部的prometheus 监控，这个ip不是固定的ip ，prometheus也识别不了

#2

请问这个有方案么

#3

  1. starrock 3.3 存算分离 operator部署

  2. starrock yaml:
    starrocksFESpec:
    service:
    annotations:
    prometheus.io/path: “/metrics”
    prometheus.io/port: “8030”
    prometheus.io/scrape: “true”

  3. prometheus 安装
    helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
    helm repo update prometheus-community
    helm install prometheus prometheus-community/kube-prometheus-stack

  4. prometheus targe 查看不到starrocks相关的信息

#4

operator github
原文 “ Note that "prometheus.io/* annotations are the must items to be added, this will allow prometheus to auto discover StarRocks PODs and to collect the metrics. This method will restart the StarRocks cluster.” ，说设置了starrrocks pod配置即可。但是看prometheus 的 target没有starrocks.

于是尝试参考文章添加 Prometheus 配置添加了prometheus配置也不行

  • job_name: ‘StarRocks_Cluster’
    kubernetes_sd_configs:
    • role: endpoints
      relabel_configs:
    • source_labels: [__meta_kubernetes_service_annotation_prometheus_io_scrape]
      action: keep
      regex: true
    • source_labels: [__meta_kubernetes_service_annotation_prometheus_io_scheme]
      action: replace
      target_label: scheme
      regex: (https?)
    • source_labels: [__meta_kubernetes_service_annotation_prometheus_io_path]
      action: replace
      target_label: metrics_path
      regex: (.+)
    • source_labels: [address, __meta_kubernetes_service_annotation_prometheus_io_port]
      action: replace
      target_label: address
      regex: ([^:]+)(?::\d+)?;(\d+)
      replacement: $1:$2
    • action: labelmap
      regex: _meta_kubernetes_service_label(.+)
    • source_labels: [__meta_kubernetes_namespace]
      action: keep
      regex: starrocks # 过滤starrocks命名空间
    • source_labels: [__meta_kubernetes_namespace]
      action: replace
      target_label: kubernetes_namespace
    • source_labels: [__meta_kubernetes_service_name]
      action: replace
      target_label: kubernetes_name
    • source_labels: [__meta_kubernetes_pod_name]
      action: replace
      target_label: kubernetes_pod_name
      scrape_configs:
  • job_name: starrocks-fe-monitor
    honor_labels: true
    scrape_interval: 15s
    metrics_path: /metrics
    scheme: http
    kubernetes_sd_configs:
    • role: endpoints
      namespaces:
      names:
      • starrocks
        relabel_configs:
    • source_labels:
      • __meta_kubernetes_endpoint_port_name
        regex: http
        action: keep
    • source_labels:
      • __meta_kubernetes_service_name
        regex: starrockscluster-fe-service
        action: keep
    • source_labels:
      • __meta_kubernetes_pod_node_name
        target_label: node
    • source_labels:
      • __meta_kubernetes_namespace
        target_label: namespace
    • source_labels:
      • __meta_kubernetes_service_name
        target_label: service
    • source_labels:
      • __meta_kubernetes_pod_name
        target_label: pod

京ICP备2022026421号-1