2.1.1 TPC-H测试结果不理想

【详述】TPCH测试结果比较差
1646358454(1) profile.log (2.6 MB)
【背景】TPCH 100G测试
【业务影响】
【StarRocks版本】2.1.1
【集群规模】5fe(1master+3 follower+1observer)+5be(fe与be混部)
【机器信息】CPU虚拟核/内存/网卡,例如:48C/376G/2万兆
【附件】

  • fe.warn.log/be.warn.log/相应截图
  • 慢查询:
    • Profile信息
    • 并行度:show variables like ‘%parallel_fragment_exec_instance_num%’;
      24
    • cbo是否开启:show variables like ‘%cbo%’;
      ±------------------------------------±------+
      | Variable_name | Value |
      ±------------------------------------±------+
      | cbo_cte_reuse | false |
      | cbo_enable_dp_join_reorder | true |
      | cbo_enable_greedy_join_reorder | true |
      | cbo_enable_low_cardinality_optimize | true |
      | cbo_enable_replicated_join | true |
      | cbo_max_reorder_node_use_dp | 10 |
      | cbo_max_reorder_node_use_exhaustive | 4 |
      | cbo_use_correlated_join_estimate | true |
      ±------------------------------------±------+
    • be节点cpu和内存使用率截图

参考官方文档 https://docs.starrocks.com/zh-cn/main/benchmarking/TPC-H_Benchmark

  1. 确认下建表语句是否一致
  2. analyze full table 收集统计信息
  3. 打开一下 pagecache 在be.conf 配置
disable_storage_page_cache=false; -- 开启page_cache
storage_page_cache_limit=4294967296; --设置page_cache的大小

另外跑tpch 不用那么高的并行度 8或者16的并行度试试先

感谢大佬,改为8个并行度后结果已经很优秀,第二次时间如下
1646476025(1)

2赞