【详述】构建数仓,从ods表 insert into select 创建插入数据到新表,速度很慢。
【背景】首先建了一张sr的明细表,并设置了桶,没有设置分区
【业务影响】插入数据慢
【StarRocks版本】2.2.2
【集群规模】3fe(3 follower)+5be
【机器信息】CPU虚拟核/内存/网卡,32C/256G/千兆,全ssd磁盘
【附件】
- 慢查询:
- Profile信息
- 并行度:show variables like ‘%parallel_fragment_exec_instance_num%’; —16
- cbo是否开启:show variables like ‘%cbo%’; —开启
- 任务内存分配单节点32G,资源充足
sql:
profile:(生产环境,不方便下载,直接截图)
数据量补充说明:
源表数据量1.7亿(单条数据量小),列转行后是7倍,差不多近12亿数据。执行完耗时17分钟。
对比说明:为什么感觉比较慢,是因为我们还有一套环境,是grenplum集群,性能和资源都远远赶不上sr集群,并且磁盘还不是ssd的。同样的sql执行,3分钟完成。所以想知道有什么办法调优,还是说sr本身不擅长做这样的操作。