部分场景下broker load速度特别慢 SR 2.3

💬 StarRocks 用户问答 功能使用相关
#21

会的，外部表做了很多优化，分区裁剪这些都是必须的。甚至你可以直接针对外部表进行分析。新版本里面也不需要直接建表，可以直接通过catalog方式创建

#22

定位到原因或者方式可以解决么？ 不然我这边从应用层处理下，只针对这部分慢的用外部表。

#23

另外外部表是我们重点发展的一个方向。如果你们使用过程中遇到问题我们也会努力改进的

#24

你方便把数据给我们一份么？

#25

好的，那我从应用层也处理下吧，麻烦了 :handshake:

#26

这是生产的数据，不太方便外传 :sweat_smile:

#27

明白，我们自己尝试复现下，估计跟你的数据特征有关系。外表这里做过不少优化

#28

希望对你有所帮助，
这是样例数据：

image
image1909×534 42 KB

比较常见的维度 + 度量的数据集数据，里面字段都是比较长的名字，不知道这个有没有影响

这是建表语句：
create.sql (46.4 KB)

#29

维度数据中有中文，长度基本上在100字节内

#30

感谢，你们这个导入慢的有多少文件？每个文件大概多大？

#31

image
image1170×633 39.6 KB
总共42个文件

#32

数据文件是orc格式

#33

ORC导入在列比较少的场景下速度怎么样

#34

也有些列多的的快，但是慢的基本上是列比较多的，目前差不多1200个模型需要做load，就五六个有这种情况，数据量不大但是速度慢得很，之前测试80来个字段5亿的数据也就不到20分钟。

#35

该问题在orc列特别多（并且其中存在大量的varchar或者decimal字段）的时候会出现，造成的原因是太多的随机IO
修复pr：https://github.com/StarRocks/starrocks/pull/11380

#36

:+1: :+1: :+1: :+1: :+1: :+1: :+1: :+1: :+1: :+1: :+1:

京ICP备2022026421号-1