Used: 438105027512, Limit: 438103947386. Mem usage has exceed the limit of single query, You can change the limit by set session variable exec_mem_limit目前我设置比较这个限制的值大，还是报错超出限制，

U_1661311713302_9922 · 2022年08月30日 03:32

基数比较低指的是列中包含很多不同的值，重复的值很少

LIANGCHAOHUA · 2022年08月30日 03:32

不会的，有时候数据量大，SQL复杂，导致执行计划不一定正确，还是要用SQL改写的方式确保一下

LIANGCHAOHUA · 2022年08月30日 03:32

基数低指重复的值多。

U_1661311713302_9922 · 2022年08月30日 03:34

嗯嗯好的，理解反了

U_1661311713302_9922 · 2022年08月30日 03:35

是把这from后面的位置更换一下吗

LIANGCHAOHUA · 2022年08月30日 03:40

是的 from 大至小

U_1661311713302_9922 · 2022年08月30日 03:49

我是这么考虑的目前hash join 的问题，我觉得是 DISTRIBUTED BY HASH(o_custkey,o_shippriority) BUCKETS 700 这的值也有关系，我觉是不这只留下一列就可以了

U_1661311713302_9922 · 2022年08月30日 03:49

是不是把框起来的去掉

LIANGCHAOHUA · 2022年08月30日 03:55

DISTRIBUTED BY HASH一个值也是可以只要数据是分布均匀

U_1661311713302_9922 · 2022年08月30日 05:20

这个方法也不行，能不能通过调整参数的方式，慢慢跑出来呢

U_1661311713302_9922 · 2022年08月30日 06:02

DISTRIBUTED BY HASH 这个数据分布的话，用哪些列会更好呢

LIANGCHAOHUA · 2022年08月30日 06:04

ERROR 1064 (HY000): row count of right table in hash join > 4294967295
还是这个报错信息吧？

LIANGCHAOHUA · 2022年08月30日 06:05

这个需要你查一下数据，就是不倾斜，数据均匀的列

LIANGCHAOHUA · 2022年08月30日 06:08

把您改后的SQL发一下还有explain cost

U_1661311713302_9922 · 2022年08月30日 06:10

对，还是这个报错，这次换成sql 21 和sql 9 之前是sql 7 和sql8

U_1661311713302_9922 · 2022年08月30日 06:12

sql21

select
s_name,
count(*) as numwait
from
lineitem l1,
orders,
supplier,
nation
where
s_suppkey = l1.l_suppkey
and o_orderkey = l1.l_orderkey
and o_orderstatus = ‘F’
and l1.l_receiptdate > l1.l_commitdate
and exists (
select
*
from
lineitem l2
where
l2.l_orderkey = l1.l_orderkey
and l2.l_suppkey <> l1.l_suppkey
)
and not exists (
select
*
from
lineitem l3
where
l3.l_orderkey = l1.l_orderkey
and l3.l_suppkey <> l1.l_suppkey
and l3.l_receiptdate > l3.l_commitdate
)
and s_nationkey = n_nationkey
and n_name = ‘MOZAMBIQUE’
group by
s_name
order by
numwait desc,
s_name
limit 100;

sql5
select count(*) from (
select nation, o_year, sum(amount) as sum_profit
from
(
select
n_name as nation,
extract(year from o_orderdate) as o_year,
l_extendedprice * (1 - l_discount) - ps_supplycost * l_quantity as amount
from lineitem, orders, partsupp, part, supplier, nation, orders
where
s_suppkey = l_suppkey
and ps_suppkey = l_suppkey
and ps_partkey = l_partkey
and p_partkey = l_partkey
and o_orderkey = l_orderkey
and s_nationkey = n_nationkey
and p_name like ‘%green%’
) as profit
group by nation, o_year
order by nation, o_year desc
) as t1;

U_1661311713302_9922 · 2022年08月30日 06:14

select
s_name,
count(*) as numwait
from
lineitem l1,
orders,
supplier,
nation
where
s_suppkey = l1.l_suppkey
and o_orderkey = l1.l_orderkey
and o_orderstatus = ‘F’
and l1.l_receiptdate > l1.l_commitdate
and exists (
select
*
from
lineitem l2
where
l2.l_orderkey = l1.l_orderkey
and l2.l_suppkey <> l1.l_suppkey
)
and not exists (
select
*
from
lineitem l3
where
l3.l_orderkey = l1.l_orderkey
and l3.l_suppkey <> l1.l_suppkey
and l3.l_receiptdate > l3.l_commitdate
)
and s_nationkey = n_nationkey
and n_name = ‘MOZAMBIQUE’
group by
s_name
order by
numwait desc,
s_name
limit 100;

LIANGCHAOHUA · 2022年08月30日 06:19

partsupp,
part,
这两个表多少数据量？

U_1661311713302_9922 · 2022年08月30日 06:21

U_1661311713302_9922 · 2022年08月30日 06:22

partsupp 80亿 part 20亿