Starrocks 聚合模型查询结果有重复的 key

wangsm424 · 2023年12月18日 08:02

为了更快的定位您的问题，请提供以下信息，谢谢
【详述】Starrocks 聚合模型查询结果有重复的 key
【背景】VEH_FACT_REF数据表是聚合模型，van 是AGGREGATE KEY，使用条件 left(van，5)查询的数据结果有重复，但是使用 left(van, 6)查询的结果就是唯一的。用like 也是同样的结果。VEH_FACT_REF的写入是多次 insert 的结果
【业务影响】影响数据喝茶
【是否存算分离】
【StarRocks版本】例如：3.1.5
【集群规模】4fe+18be（fe与be混部）
【机器信息】
【联系方式】请社区联系或者邮箱 392348681@qq.com
【附件】
VEH_FACT_REF表的建表语句：
VEH_FACT_REF.sql (11.0 KB)
查询以及截图：

left(van, 5)的情况

select * from DW.VEH_FACT_REF where left(van,5)=‘00701’ order by van desc;

explain select * from DW.VEH_FACT_REF where left(van,5)=‘00701’ order by van desc;

RESULT SINK

2:MERGING-EXCHANGE

PLAN FRAGMENT 1
OUTPUT EXPRS:
PARTITION: RANDOM

STREAM DATA SINK
EXCHANGE ID: 02
UNPARTITIONED

1:SORT
| order by: <slot 1> 1: VAN DESC
| offset: 0
|
0:OlapScanNode
TABLE: VEH_FACT_REF
PREAGGREGATION: OFF. Reason: None aggregate function
PREDICATES: left(1: VAN, 5) = ‘00701’
partitions=1/1
rollup: VEH_FACT_REF
tabletRatio=27/27
tabletList=5176554,5176558,5176562,5176566,5176570,5176574,5176578,5176582,5176586,5176590 …
cardinality=497408
avgRowSize=199.99992
numNodes=0

left(van,6)的情况

select * from DW.VEH_FACT_REF where left(van,6)=‘007019’ order by van desc ;

RESULT SINK

2:MERGING-EXCHANGE

PLAN FRAGMENT 1
OUTPUT EXPRS:
PARTITION: RANDOM

STREAM DATA SINK
EXCHANGE ID: 02
UNPARTITIONED

1:SORT
| order by: <slot 1> 1: VAN DESC
| offset: 0
|
0:OlapScanNode
TABLE: VEH_FACT_REF
PREAGGREGATION: OFF. Reason: None aggregate function
PREDICATES: left(1: VAN, 6) = ‘007019’
partitions=1/1
rollup: VEH_FACT_REF
tabletRatio=27/27
tabletList=5176554,5176558,5176562,5176566,5176570,5176574,5176578,5176582,5176586,5176590 …
cardinality=497408
avgRowSize=199.99992
numNodes=0

Doni · 2023年12月18日 10:27

select current_version() 确认一下是 3.1.5版本么，另外是存算一体还是存算分离

Doni · 2023年12月18日 12:26

set streaming_preaggregation_mode=force_streaming;
然后再执行 select * from DW.VEH_FACT_REF where left(van,5)=‘00701’ order by van desc; 看看结果

wangsm424 · 2023年12月18日 14:35

mysql> set streaming_preaggregation_mode=force_streaming;
set streaming_preaggregation_mode=force_streaming;
Query OK, 0 rows affected (0.00 sec)

mysql> select van, FDP, MMSTA from DW.VEH_FACT_REF where left(van,5)=‘00701’ order by van desc limit 10;
±-----------±------±------+
| van | FDP | MMSTA |
±-----------±------±------+
| 0070199999 | -CF6T | ZM50 |
| 0070199999 | NULL | NULL |
| 0070199998 | NULL | NULL |
| 0070199998 | -CH64 | ZM50 |
| 0070199997 | -CH64 | ZM50 |
| 0070199996 | -CEW8 | ZM50 |
| 0070199996 | NULL | NULL |
| 0070199995 | -CEW8 | ZM50 |
| 0070199995 | NULL | NULL |
| 0070199993 | NULL | NULL |
±-----------±------±------+
10 rows in set (0.16 sec)

wangsm424 · 2023年12月18日 14:38

mysql> select current_version();
±------------------+
| current_version() |
±------------------+
| 3.1.5-5d8438a |
±------------------+
1 row in set (0.02 sec)

wangsm424 · 2023年12月18日 14:37

存算一体