为了更快的定位您的问题,请提供以下信息,谢谢
【详述】执行同样的SQL:select * from hive_catalog.bi_upload.lzf_mock_table,每次profile中的HMS的接口都调用了,至少耗时50ms。正常不是会缓存吗?
建表语句:
CREATE TABLE lzf_mock_table
(
test1
varchar(1073741824) DEFAULT NULL COMMENT “test1”,
test2
varchar(1073741824) DEFAULT NULL COMMENT “test2”,
pt_date
varchar(1073741824) DEFAULT NULL COMMENT “???”,
operation_type
varchar(1073741824) DEFAULT NULL COMMENT “???”
)
PARTITION BY (pt_date, operation_type)
PROPERTIES (“location” = “hdfs://xxxx/_bi_upload/lzf_mock_table”);
profile的planner部分:
Planner:
- -- Parser[1] 0
- -- Total[1] 58ms
- -- Analyzer[1] 0
- -- Lock[1] 0
- -- AnalyzeDatabase[1] 0
- -- AnalyzeTemporaryTable[1] 0
- -- AnalyzeTable[1] 0
- -- Transformer[1] 0
- -- Optimizer[1] 57ms
- -- MVPreprocess[1] 0
- -- MVChooseCandidates[1] 0
- -- MVGenerateMvPlan[1] 0
- -- MVValidateMv[1] 0
- -- MVProcessWithView[1] 0
- -- MVTextRewrite[1] 0
- -- RuleBaseOptimize[1] 57ms
- -- HMS.listPartitionNames[1] 56ms
- -- CostBaseOptimize[1] 0
- -- PhysicalRewrite[1] 0
- -- PlanValidate[1] 0
- -- InputDependenciesChecker[1] 0
- -- TypeChecker[1] 0
- -- CTEUniqueChecker[1] 0
- -- ColumnReuseChecker[1] 0
- -- ExecPlanBuild[1] 0
- -- HMS.PARTITIONS.LIST_FS_PARTITIONS[3] 0
- -- Pending[1] 0
- -- Prepare[1] 0
- -- Deploy[1] 4ms
- -- DeployLockInternalTime[1] 4ms
- -- DeploySerializeConcurrencyTime[2] 0
- -- DeployStageByStageTime[6] 0
- -- DeployWaitTime[6] 4ms
- -- DeployAsyncSendTime[4] 0
- lzf_mock_table scan_range_bytes: ip:3000,ip:3078,ip:3004,
- lzf_mock_table rebalance_bytes: ip:888,ip:0,ip:429,
- DeployDataSize: 27715
HMS:
PARTITIONS:
- LIST_FS_PARTITIONS: 0
Reason:
-- RuleBaseOptimize[1] 57ms
-- HMS.listPartitionNames[1] 56ms
无论间隔时间多短这个仍然有耗时,至少在50ms以上有时候100多ms,似乎没有走缓存,这个可以如何确认吗?