StarRocks版本:3.1.12
集群规模:3FE 15BE/Broker
机器信息:96C256GB
执行Broker laod同步一个超大表从HDFS同步Starrocks,HDFS目录下大约400个文件,总计约600GB
设置load_parallel_instance_num=1,耗时52分钟
设置load_parallel_instance_num=2,也是52分钟
这个参数为什么不起作用?
我又搭建了一套全新的StarRocks,版本一样,只是集群规模不一样,设置load_parallel_instance_num=1和load_parallel_instance_num=2,耗时是35分钟和20分钟,差距这么明显,说明这个参数是有效果的,所以上面没有效果是为什么,哪位大佬可以解释一下。
1、官网说3.1版本的load_parallel_instance_num参数舍弃,但是第二个实验证明了没舍弃并有效啊