*问题背景
单机部署,1个fe,1个be,双核2.5G,内存4G
备份的表行数800万
*报错详情
请指定一个空的文件夹去备份试下?
该怎么指定文件夹呢,在hdfs_repo后面直接加路径吗? 像这样 hdfs_repo/a
BACKUP SNAPSHOT Water_RuralDrinkingWater_Child.snapshot_2022041901 TO hdfs_repo ON
(Dr_Meter_UserHis_20220406)
参考下这个例子https://forum.mirrorship.cn/t/topic/576 ON LOCATION "ossn://xxxx"这个oss的远程bucket里面是不是已经存在了同名的文件夹,这里指定一个空的bucket或者文件夹试下?
我删除了远端hdfs仓库,然后在远端也手动删除了对应的文件夹,之后重新建仓库,备份,还是报一样的错误
可以尝试下远程文件夹rename,重新写一下路径尼
同样遇到这个问题,解决方法如下: 在be上查看be.WARNING日志,有报错
remote file checksum is invalid. remote: 0200000000118cad1240a8b33c9469046d2bacea69e4e0a8_0.dat, local: b483d204dc8034ebef062e620324b868
在broker的日志上查找 0200000000118cad1240a8b33c9469046d2bacea69e4e0a8_0.dat,有eceive a check path request, request detail: TBrokerCheckPathExistRequest(version:VERSION_ONE, path:oss://xxxx/__part_536170/__idx_536202/__545799/0200000000118cad1240a8b33c9469046d2bacea69e4e0a8_0.dat.part, properties:{})
到OSS的相应路径上查看,将相应的文件重命名或删除。让starrocks重传文件,正常文件名是: 0200000000118cad1240a8b33c9469046d2bacea69e4e0a8_0.dat.b483d204dc8034ebef062e620324b868
在broker日志里查找所有 dat.part,所现OSS上有些类__545799目录没有创建,手动创建就可以了。
您好,还能看到吗?这个我删除了过一会又重新生成了,然后就又报错,怎么处理呢
starrocks 2.0.1
备份到自建的Hdfs?
备份到S3也出现同样的错,有没有社区大佬给一个解决方案?
#8楼的不管用啊