tablet_id: 24631, version_count: 1001, limit: 1000

💬 StarRocks 用户问答 数据导入与导出
#1

【详述】陆续出现 previous task aborted because of Too many versions, please reduce your insert/load request rate. tablet_id: 24631, version_count: 1001, limit: 1000, replica_state: 1: be:xxx.xxx.xxx.xxx. 出现该情况的tablet越来越多，导致所有写入全部无法成功，停止所有写入后手动执行compaction 依然无法成功合并。
【背景】之前在3.0.2版本出现无法删除，相同查询条件下，select * 和 select field_X 获取结果不一致，于是单独分支打包修正了以上问题，随之出现tablet无法正常进行版本合并的问题
【业务影响】数据库无法正常写入，所有业务暂停。
【StarRocks版本】3.0.2分支打包
【集群规模】例如：4fe（4 follower）+8be
【机器信息】CPU虚拟核/内存/网卡，例如：16C/64G/万兆
【表模型】主键模型
【导入或者导出方式】flink + routineload
【联系方式】80857286@qq.com
【附件】

  • fe.log/be.INFO/相应截图
#2

麻烦您确认下 当前flink + routineload的导入频率分别是多少？ 在出现这个报错的时候 麻烦show tablet $tabletid; 执行下后DetailCmd 发下截图看下versioncount，然后可以发下对应的be.info日志 感谢

#3

导入频率15s-20s，
10.86.229.138:8040/api/compaction/show?tablet_id=29011&schema_hash=-1
seg.txt (25.6 KB)
be.zip (17.1 MB)

#4

应该是SortKey的Compaction有BUG，我们看下

#5 
/root/starrocks/be/src/storage/delta_writer.cpp:39 writer->_init()
/root/starrocks/be/src/runtime/local_tablets_channel.cpp:90 _open_all_writers(params)
W0703 10:47:04.034946 17515 rowset_merger.cpp:491] writer add_columns error, tablet=29011, err=Internal error: column[3]: GJAHR is sort key but not find while init segment writer
/root/starrocks/be/src/storage/rowset/rowset_writer.cpp:1007 _segment_writers[_current_writer_index]->init(column_indexes, is_key)
W0703 10:47:04.044062 17515 storage_engine.cpp:898] failed to perform update compaction. res=Internal error: column[3]: GJAHR is sort key but not find while init segment writer
/root/starrocks/be/src/storage/rowset/rowset_writer.cpp:1007 _segment_writers[_current_writer_index]->init(column_indexes, is_key)
/root/starrocks/be/src/storage/rowset_merger.cpp:240 _do_merge_vertically(tablet, version, rowsets, writer, cfg, column_groups, &total_input_size, &total_rows, &total_chunk, &stats)
/root/starrocks/be/src/storage/tablet_updates.cpp:1392 compaction_merge_rowsets(_tablet, info->start_version.gnu_dev_major (), input_rowsets, rowset_writer.get(), cfg), tablet=29011.380674489.ec416eaaac5f5cf0-608e43ca5256f9a4
#6

建表语句提供下呢？有改过sortkey吗

#7

FixPR: https://github.com/StarRocks/starrocks/pull/26486

京ICP备2022026421号-1