【详述】使用CloudCanal同步mysql数据到sr2.5.5,增量同步延迟较大
【背景】
【业务影响】
【StarRocks版本】2.5.5
【集群规模】1fe+3be(fe与be混部)
【机器信息】16C/32G/万兆
【表模型】主键模型
【导入或者导出方式】CloudCanal
【联系方式】
【附件】
数据库为MariaDB10.4,SR版本为2.5.5,使用CloudCanal(2.6.1.1版本)增量同步MariaDB数据到SR。
目前的问题是:在日间数据产生插入更新较为频繁的时候,同步有3~7分钟的延迟,而在夜间不会有延迟。SR集群负载不高。
在CloudCanal配置的参数为:
- 规格设置为为5G
- increBatchSize:512
- increRingBufferSize:128
参数经过多次优化调整验证,延迟问题没有改善。与CloudCanal技术沟通过,也暂时看不出什么问题。
在CloudCanal看到相应的监控,写入耗时较长:
所以,会不会是SR数据更新与插入需要优化参数?有什么排查的思路呢?