【详述】使用 hive 外表,业务高峰会遇到一些datanode的慢节点,导致查询缓慢。想使用 ‘hedged’ reads in DFSClient(https://issues.apache.org/jira/browse/HDFS-5776) 配置来解决问题,请问有相关的经验可以借鉴吗,有人用过这个配置来解决问题吗
【背景】做过哪些操作?
【业务影响】
【StarRocks版本】2.4.4
【集群规模】例如:3fe(1 follower+2observer)+5be(fe与be混部)
【机器信息】CPU虚拟核/内存/网卡,例如:48C/64G/万兆
【联系方式】为了在解决问题过程中能及时联系到您获取一些日志信息,请补充下您的联系方式,例如:社区群4-小李或者邮箱,谢谢
【附件】
可以是可以,但是会加大内存的消耗。需要调高 be jvm 的堆内存大小。
具体分析可以看 https://www.inlighting.org/archives/hdfs-hedged-read
1赞