(标题)【概述】关键信息,比如cause by
【详述】问题详细描述
使用的 PRIMARY KEY 模型
同步完custom表后(大概八亿条数据)之后通过routine load kafka 实时同步数据,每隔100s同步一次数据(“max_batch_interval” = “100”),会不有大量相同主键更新后的数据 load 到starrocks。过段时间后表没办法进行任何操作同时提示:ERROR 1064 (HY000): failed to initialize storage reader. tablet=20001798.406049731.e74f2749f2bd4e62-9b7007c951d0bba1, res=Internal error: failed to capture rowset iterators, tablet=20001798.406049731.e74f2749f2bd4e62-9b7007c951d0bba1, res=Internal error: tablet updates is in error state, backend=172.17.2.23, backend=xxx.xxx.xxx.xxx
【背景】做过哪些操作?
给表里插过数据之后没有再做其他操作
【业务影响】
【StarRocks版本】1.18.2
【集群规模】例如:3fe(1 follower+2observer)+4be(fe与be混部)
【机器信息】32CPU/128G内存/100M网卡,例如:48C/64G/万兆
【附件】
- fe.warn.log/be.warn.log/相应截图
be
fe
- 慢查询:
- Profile信息
- 并行度:show variables like ‘%parallel_fragment_exec_instance_num%’;
- cbo是否开启:show variables like ‘%cbo%’;
- be节点cpu和内存使用率截图