select count(1) 时无法查询

💬 StarRocks 用户问答
#1

为了更快的定位您的问题，请提供以下信息，谢谢
【详述】问题详细描述
【背景】做过哪些操作？
【业务影响】
【是否存算分离】
【StarRocks版本】例如：3.2.11
【集群规模】例如：1fe（1 ）+5be（fe与be不混）
【机器信息】CPU虚拟核/内存/网卡，例如：8C/32G/万兆
【联系方式】2422203515@qq.com
【附件】

  • 查询报错：
    MySQL [ods]> select count(1) from ods_paten_opma_patent_detail;
    ERROR 1064 (HY000): can not read fully
    MySQL [ods]> show data from ods.ods_paten_opma_patent_detail;
    ±-----------------------------±-----------------------------±---------±-------------±----------+
    | TableName | IndexName | Size | ReplicaCount | RowCount |
    ±-----------------------------±-----------------------------±---------±-------------±----------+
    | ods_paten_opma_patent_detail | ods_paten_opma_patent_detail | 9.978 TB | 2000 | 210205595 |
    | | Total | 9.978 TB | 2000 | |
    ±-----------------------------±-----------------------------±---------±-------------±----------+
    2 rows in set (0.00 sec)

MySQL [ods]>

#2

show proc “/statistic” 看下这个集群中现在有不健康副本么，查询的这个表是sr内表是吧，是存算一体的集群么

#3

确实存在339个UnhealthyTablet，是内表，存算一体的

#5

MySQL [ods]> SHOW PROC “/statistic”;
±--------±-------------------±---------±-------------±---------±----------±-----------±-------------------±----------------------±-----------------±--------------------+
| DbId | DbName | TableNum | PartitionNum | IndexNum | TabletNum | ReplicaNum | UnhealthyTabletNum | InconsistentTabletNum | CloningTabletNum | ErrorStateTabletNum |
±--------±-------------------±---------±-------------±---------±----------±-----------±-------------------±----------------------±-----------------±--------------------+
| 10004 | statistics | 6 | 6 | 6 | 58 | 174 | 0 | 0 | 0 | 0 |
| 55206 | gzj_ods_dev | 4 | 4 | 4 | 50 | 100 | 0 | 0 | 0 | 0 |
| 4820652 | ifi_pg_db | 64 | 64 | 64 | 1822 | 1880 | 0 | 0 | 0 | 0 |
| 4799788 | ifi_pg_db_test | 2 | 2 | 2 | 200 | 200 | 0 | 0 | 0 | 0 |
| 1 | information_schema | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 54935 | ods | 11 | 45 | 45 | 4438 | 8758 | 0 | 0 | 0 | 0 |
| 6291200 | ods_cnipa | 22 | 22 | 22 | 5030 | 10060 | 0 | 0 | 0 | 0 |
| 36316 | patent_detail_mv | 5 | 5 | 5 | 164 | 164 | 0 | 0 | 0 | 0 |
| 126081 | pn_update_analysis | 10 | 10 | 10 | 2640 | 5290 | 0 | 0 | 0 | 0 |
| 38915 | spider | 3 | 3 | 3 | 126 | 236 | 0 | 0 | 0 | 0 |
| 100 | sys | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 4286252 | testdb | 2 | 2 | 2 | 9 | 15 | 0 | 0 | 0 | 0 |
| Total | 12 | 129 | 163 | 163 | 14537 | 26877 | 0 | 0 | 0 | 0 |
±--------±-------------------±---------±-------------±---------±----------±-----------±-------------------±----------------------±-----------------±--------------------+
13 rows in set (0.08 sec)
MySQL [ods]>
MySQL [ods]> SELECT count(1) FROM ods.ods_paten_opma_patent_detail;
ERROR 1064 (HY000): can not read fully
MySQL [ods]> SELECT count(1) FROM ods.ods_paten_opma_patent_detail where publication_number in (“JP-2017011375-A”,“EP-2998210-A4”,“EP-2647979-A4”,“KR-101700924-B1”,“KR-101700265-B1”)
-> ;
±---------+
| count(1) |
±---------+
| 5 |
±---------+
1 row in set (0.02 sec)

MySQL [ods]>
原来339个UnhealthyTablet不是ods.ods_paten_opma_patent_detail这个表的，但是将339个UnhealthyTablet解决后，依然不能count；目前表里有2亿多数据，字段列有189个，通过show data可以看到目前表里的情况：
MySQL [ods]> show data from ods.ods_paten_opma_patent_detail;
±-----------------------------±-----------------------------±---------±-------------±----------+
| TableName | IndexName | Size | ReplicaCount | RowCount |
±-----------------------------±-----------------------------±---------±-------------±----------+
| ods_paten_opma_patent_detail | ods_paten_opma_patent_detail | 9.985 TB | 2000 | 210319703 |
| | Total | 9.985 TB | 2000 | |
±-----------------------------±-----------------------------±---------±-------------±----------+
2 rows in set (0.00 sec)

目前确实有spark connector正在写入数据，单fe节点目前内存使用为32G，63%正在使用
不知道为什么无法count此表的总数据，但是其他表是可以正常统计的

#6

ods_paten_opma_patent_detail 这个表有多少列，是几副本

#7

150 列，主键表；这是对应的建表参数，我把其他列去掉了
CREATE TABLE ods_paten_opma_patent_detail（
publication_number varchar(30) NOT NULL
）ENGINE=OLAP
PRIMARY KEY(publication_number)
DISTRIBUTED BY HASH(publication_number) BUCKETS 1000
PROPERTIES (
“replication_num” = “2”,
“in_memory” = “false”,
“enable_persistent_index” = “true”,
“replicated_storage” = “true”,
“compression” = “LZ4”
);

#8

这是非分区表？1个分区，9TB吗

#9

对的，只根据主键分桶没有进行分区

#10

那你们的机器配置应该挺高哦，这样都能查得动，有多少个BE?

#11

5be节点，64G内存哈哈哈

#12

多少Core的？才64GB也能拉得到不错哦，集群里面有多少表呢，目前tablet有多少？

京ICP备2022026421号-1