load任务堆积

【详述】已经完成(finished)的写入任务,无法释放
【背景】重启FE节点、BE节点,更改label_keep_max_second参数
【业务影响】无法写入新的数据
【StarRocks版本】2.1.7
【集群规模】例如:5fe(5follower)+5be(fe与be混部)
【机器信息】CPU虚拟核/内存/网卡,例如:48C/64G/万兆

您好,label_keep_max_second现在改到多大了?无法写入新的数据指的是现在起load任务就会报错?

一、我设置为六个小时了。 设置为六个小时后,在show load中看不到六小时前的人物信息,但是在SHOW PROC '/transactions‘时,一直有2000个running(我这边设置的上限是2000)。
二、是的,起load任务就会报错,报超出上限的错误。

那个参数是清除已完成和取消作业的参数,running的不在内。你这个load任务为什么一直没结束?跑了多久了?都是什么导入?起load任务报错应该是超出事务数的原因,2000那个设置的是max_runnings_transactions_per_txn_map这个参数?

嗯,明白了。
我这个load任务结束了,就是一个简单的insert into,在show load中显示的都是finish,但是SHOW PROC '/transactions/XXX‘中都是running
2000那个设置的是 max_running_txn_num_per_db 这个参数

1赞

不建议使用insert into做大量导入任务,对后台compaction不友好,你show load指定一下特定库看看,然后再看看指定库那个事务统计SHOW PROC ‘/transactions/DbId’