存算分离下,compactions上传至s3时,显示Unable to parse ExceptionName: EntityTooLarge Message: Your proposed upload exceeds the maximum allowed object size.
询问云厂商他们做了分片大小限制8M,如何修改上传分片大小
谁家的对象存储云厂商multipart限制到8M?
这是云厂商那边的答复:
大文件无法上传的情况,是需要分片的,分片大小有限制8M
starrocks里面没有调整分片大小的参数,您评估下参考我们的api的调用接口,看着重写下
https://docs.ucloud.cn/api/ufile-api/upload_part?id=上传分片-uploadpart
当前没有暴露配置可以修改这个参数. 考虑换个对象存储服务? 首次遇到这么小的限制.
有没有临时解决方案,或者说不管是否有什么比较严重的影响,因为项目已经上线一段时间,迁移成本较大
没有临时解决办法, 代码内部用的是100MB分片大小. 不管的话, 就是上传数据分片失败, 数据导入或者内部compaction可能永远不会成功.
好的谢谢