为了更快的定位您的问题,请提供以下信息,谢谢
【详述】在腾讯云服务器装有集群StarRocks2.5.5,然后现在要将整个StarRocks2.5.5数仓集群迁移到aws有没有比较快速的方法,或者是可以不用关闭服务同事进行操作,要是采用冷备份导入导出用哪一个工具会比较好
【StarRocks版本】例如:2.5.5
【集群规模】例如:3fe(2 follower+1leader)+4be(fe与be混部)
两个云都部署集群1、网络可通的话可以使用starrocks外部表的方式将一个集群数据传输到另一个集群。2、非主键模型也可以通过backup & restore的方式,先将数据备份,再恢复到另一个云上的集群。3.将数据导出成csv文件,再导入到另外一个集群
数据导出成csv文件,再导入到另外一个集群,这个导出csv文件具体要怎么实现呢,我找了很多材料,好像都没有办法实现
DUMP DATA FROM TABLE my_table INTO ‘file:///path/to/my_table.csv’ FORMAT AS CSV;这个命令好像不支持
案例
DUMP DATA FROM TABLE cast_vip_logs INTO ‘file:///data/backup/cast_vip_logs.csv’ FORMAT AS CSV;
/data/backup/是路径,但是报ERROR 1064 (HY000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ‘DUMP’ at line 1,好像不支持这个语法
最快的方式是通过restore & backup 来进行迁移,2.5 版本已经支持主键模型的backup & restore 了
最好升级到2.5.7 版本,这样可以调大 upload_worker 和 download_worker 的数量,更快的进行数据备份恢复
CREATE REPOSITORY test_repo
WITH BROKER
ON LOCATION “s3a://airdroid/startrocks/”
PROPERTIES(
“aws.s3.access_key” = “XXXXXXXXXXXXXXXXX”,
“aws.s3.secret_key” = “yyyyyyyyyyyyyyyyyyyyyyyy”,
“aws.s3.endpoint” = “s3.us-east-1.amazonaws.com”
);
CREATE REPOSITORY test_repo
WITH BROKER
ON LOCATION “s3://airdroid-data-archiving/startrocks/”
PROPERTIES(
“aws.s3.access_key” = “XXXXXXXXXXXXXXXXX”,
“aws.s3.secret_key” = “yyyyyyyyyyyyyyyyyyyyyyyy”,
“aws.s3.endpoint” = “s3.us-east-1.amazonaws.com”
);
我分别在Amazon S3>存储桶>airdroid-data-archiving>startrocks/
Amazon S3>接入点>airdroid>startrocks,但是执行还是会报错
这个存储桶具体是要怎么创建才可以实现
