数据转换出现:transmit chunk rpc failed

【详述】insert into … select … 执行超过一个小时,出现异常:transmit chunk rpc failed
【背景】insert into … select … 执行超过一个小时
【业务影响】
【StarRocks版本】2.5.4
【集群规模】3fe(3 follower)+5be(fe与be混部)
【机器信息】
【联系方式】541166058@qq.com
【附件】

  • fe日志
2023-08-17T15:07:14,979 com.starrocks.qe.StmtExecutor [thrift-server-pool-6077131]-[line-1398] WARN  - insert failed: transmit chunk rpc failed:22b9eac6-3cc4-11ee-9c66-e8611f3faf2e
  • be日志
W0817 15:06:01.274926 180025 disposable_closure.h:38] brpc failed, error=RPC call is timed out, error_text=[E1008]Reached timeout=3600000ms @x.x.x.x:8060
W0817 15:06:01.275060 180025 sink_buffer.cpp:325] transmit chunk rpc failed:22b9eac6-3cc4-11ee-9c66-e8611f3faf2e
W0817 15:06:01.291734 180102 disposable_closure.h:38] brpc failed, error=RPC call is timed out, error_text=[E1008]Reached timeout=3600000ms @x.x.x.x:8060
W0817 15:06:01.291890 180102 sink_buffer.cpp:325] transmit chunk rpc failed:22b9eac6-3cc4-11ee-9c66-e8611f3faf2e

多大的表,行数,数据量?

这个问题解决了么

哪个版本?多大数据量?可以尝试建表时候使用 (“replicate_storage”=“true”)

我这边也遇到这个情况,3.0.1版本,查询SQL多张基表有亿条以上,查询超时设置259200秒,查询结果预估几千万行级别,还有2.5.10版本也会出现这种情况吗

看起来是返回数据集太大了,be配置brpc_socket_max_unwritten_bytes可以调大些,默认2147483648(2g),可以调大到8g

好呢,已解决,感谢jingdan大佬