如果批量提交1000个broker load任务,SR压力会增大吗?如果设置了并发执行的broker load任务数,任务会在什么时间点提示be内存不足,任务提交时还是任务执行时,以及如何判断任务的预估内存是多大?
只提交任务不会增加什么压力,导入任务使用多少内存是在任务执行过程中才占用的。
那是否会存在任务执行中因内存不足而失败呢?
可能的,parquet可以并发读取 csv不行,当并发读的数据量增加时,使用资源也会增加的,可能会导致be内存打满,导入任务没有资源可以使用报错
1赞