Used: 438105027512, Limit: 438103947386. Mem usage has exceed the limit of single query, You can change the limit by set session variable exec_mem_limit目前我设置比较这个限制的值大,还是报错超出限制,

麻烦您帮忙看一下,按照咱们现在建表语句,导入数据之后,count元数据很慢,应该会整体的sql查询吧

count(*)全表数据吗?第一次是走磁盘会比较慢。

对了 数据导入后 记得 analyze full table

1 row in set (22.30 sec)

MySQL [tcph10tmp]> select count(1) from orders;
±------------+
| count(1) |
±------------+
| 15000000000 |
±------------+
1 row in set (21.49 sec)

MySQL [tcph10tmp]> select count(1) from orders;
±------------+
| count(1) |
±------------+
| 15000000000 |
±------------+
1 row in set (22.77 sec)

MySQL [tcph10tmp]> select count(1) from orders;
±------------+
| count(1) |
±------------+
| 15000000000 |
±------------+
1 row in set (17.20 sec)

MySQL [tcph10tmp]> select count(1) from orders;
±------------+
| count(1) |
±------------+
| 15000000000 |
±------------+
1 row in set (21.24 sec)

MySQL [tcph10tmp]> select count(1) from orders;

analyze full table orders执行了吗?如执行 麻烦提供一下profile 谢谢

没有执行呢?之前没有执行,第二次count 不到1s就出来了,一会把数据全部导入完之后在测试一下吧

先执行这个表 , 不行就看一下profile ,先不要导入其他表吧,万一有问题 就白干。

直接发一下profile看看。不用执行那个命令

嗯嗯有道理,现在已经在执行analyze full table orders,执行完之后看一下效果,不行我们在看一下profile

disable_storage_page_cache=false; 
storage_page_cache_limit= 20G; 

请问这两个参数设置什么

之前是有设置的,后来您给了fe 的参数 直接按照您给的参数设置了

disable_storage_page_cache=false;
storage_page_cache_limit= 64G;
在be机器内存较充足情况下可以配置提高查询性能。麻烦您设置一下吧。

select count(1) from orders; 的问题 好了吗?

现在在执行这个analyze full table orders,还没有执行完呢

count问题解决了吗?

base_check.sh (8 KB)
请用这个脚本检查一下配置,测试顺利吗?

抱歉这个两天有其他的事情,没有搞,明天接着搞

有问题和结果都一定跟您反馈

好的,等您好消息,您先忙吧。

目前-h 按照您那边提供的建表语句,礼拜天跑了两个sql 我看一下20min ,一开始按照您给建议,我自己设计那版本建表语句,那个优化完整之后只有一个sql跑不出来,但是时间上会好很多,我们是不是还是按照我发您的sql建表语句来略微调整一下,就可以了