明细模型delete from超时

【版本】2.1.12(两天前从1.19.5升级上来)
【现象】昨天下午开始,delete from操作会全部卡住。涉及数据量不大,即使删除0条也会超时


【操作】Be和Fe分别进行了重启,都没有用。
【be日志】be中有大量的compaction报错:
【warn】failed to init vectorized base compaction, res=Invalid argument: String length(657) > limit(502)

https://github.com/StarRocks/starrocks/pull/8399 这个pr加入了对于string长度的检测。所以导致出现了这个错误。

failed to init vectorized base compaction, res=Invalid argument: String length(657) > limit(502)

这个是在2.1.12加入的。出现这个的原因是因为旧的数据写错了,长度超过了表的schema的限制。

  1. 可以回退到2.1.11,这个会把这个解决。
  2. 或者等2.1.13,这个会加入一个配置项,去配置这个。

等到2.1.13发布之后,可以通过配置关闭这个强制检查varchar是否越界,之后可以通过schema change把varchar的长度增大,最后再开启强制varchar length检查

2.1.13关闭varchar length检查的pr [https://github.com/StarRocks/starrocks/pull/10444,也可以cherry-pick把这个pr自己patch上去,通过设置enable_check_string_lengths为false来关闭检查

请问delete from的失败跟这个会有关系么

建议您回退到2.1.11

我们发现正常情况下,Fe执行了delete任务后会打出来一条“send publish tasks fir txn_id”的日志;但现在就没有打印出来这条。Be里也没有找到这个任务的txn_id

如果要回退的话,我们也想确认是不是delete from失败跟现在的base compaction报错有关。不然回退了以后可能还不能delete

请问楼主这个问题后面有什么进展吗?

目前确认跟版本没有关系。所有版本一旦delete任务很频繁就会发生。发生以后只能重启解决