为了更快的定位您的问题,请提供以下信息,谢谢
【详述】问题详细描述
【背景】用sr做数仓,flinkcdc从mysql写入,datax导入
【业务影响】
【是否存算分离】
【StarRocks版本】例如:3.1.13
【集群规模】例如:3fe(1 follower+2observer)+3be
【机器信息】CPU虚拟核/内存/网卡,例如:32C/128G
【联系方式】827338010@qq.com
【附件】
修改datax的batchsize呢,每次攒多一点数据,让提交事务频率降低是否可以呢
调了快了一点,就是上了实时就变慢了
实时本质上也是利用的streamLoad方式提交的,它好像有几个不同的flush指标,要么是时间,要么是batchSize,可以参考下官方的文章:https://docs.starrocks.io/zh/docs/loading/Flink-connector-starrocks/,还有你可以分析下当前的磁盘IO,看是不是IO上有瓶颈,写入性能也受IO影响的,利用实时导入,你就得自己衡量延迟和吞吐之间的取舍了,来设置你认为最佳的参数
这个文章进不去了