【详述】tail -f be.WARNING一直在刷missed version for version:[0-20830]这类日志
【背景】UNIQUE KEY数据模型,没有进行操作,只有正常routine load和一个delete from t where xxx
【业务影响】一觉醒来基于这个表的routine load、export以及最简单的查询都不可用了。
【StarRocks版本】例如:1.19.0(从1.18.2升级上去的)
【集群规模】例如:3fe(1 follower+2observer)+4be(fe与be混部)
【机器信息】CPU虚拟核/内存/网卡,例如:56C/256G/万兆
【附件】be.WARNING (38.5 MB)
导入频率是多少?
使用routine load导入,参数配置使用的都是默认值。kafka里一直会有数据进来。数据录入到大概六亿左右表就坏了
导入失败是因为数据版本太多,compaction做不过来了,建议降低routine load导入频率。查询失败问题我们再看看。
另外可以先修改下be.conf,增加下配置项tablet_max_versions=30000
好的,我试试,感谢!
麻烦你在BE上执行下 grep 137983 log/be*.INFO > 137983.INFO,然后137983.INFO上传下。
BE需要和你上面发的be.WARNING是同一台机器。
看起来日志刷的比较快,已经看不到早期的日志了
文件链接下载不了,可能不存在或者是私密的
谢谢。通过日志来看,是某个批次的导入在某个副本上没有写入成功,但是收到了FE下发的查询请求。缺失的数据后面有从其它副本上clone过来。
正常来说,如果一个副本上有缺失的版本,FE是不会下发查询到这个节点上的,这里可能是FE的调度模块有问题,我们追查下。
您好,我现在想把这个表的数据导出到HDFS,然后新建一张表再把数据灌进去,但是我在导出的时候也出现了异常导致无法导出,通过show load 看到ErrorMsg:
type:RUN_FAIL; msg:snapshot for tablet 27723 failed on backend TNetworkAddress(hostname:xxx, port:xxx). reason: unknown
在WEB UI的 statistic里面看到tablet 27723的状态是Unheathy,通过ADMIN SHOW REPLICA STATUS FROM t_question_bank查看这个tablet的状态是DEAD,而且这个tablet所对应的BackendId也不属于目前be集群中的任何一个。
我用 insert into external_t select * from other_table;的方式操作,设置了query_timeout=7200也超时了
请问我还有其他办法把数据导出来吗?
