【详述】spark connector 写入 starroks too many versions
【背景】spark connector 写入 starroks too many versions
【业务影响】
【StarRocks版本】2.4.3
【集群规模】1fe+3be
【机器信息】
【联系方式】
【附件】
Caused by: com.starrocks.connector.spark.exception.StreamLoadException: stream load error: Too many versions. tablet_id: 339236, version_count: 1018, limit: 1000
写入一段时间数据就会出现
1.be参数
cumulative_compaction_num_threads_per_disk = 4
base_compaction_num_threads_per_disk = 2
cumulative_compaction_check_interval_seconds = 2
2.降低导入频率