为了更快的定位您的问题,请提供以下信息,谢谢
【详述】测试发现3.0版本压缩看到统计信息中行长度为50,3.2为100左右有两份,3.3为200左右。通过磁盘占用对比,只有3.0有压缩效果,其他版本几乎和es存储空间成本一样。
【背景】
表设计:
CREATE TABLE base_log
(
id
varchar(63) NOT NULL COMMENT “”,
appkey
varchar(765) NOT NULL COMMENT “”,
time
datetime NOT NULL COMMENT “”,
//其他字段
) ENGINE=OLAP
PRIMARY KEY(id
, appkey
, time
)
CMMENT “日志表”
PARTITION BY date_trunc(‘month’, time)
DISTRIBUTED BY HASH(appkey
, time
)
PROPERTIES (
“replication_num” = “1”,
“in_memory” = “false”,
“storage_format” = “DEFAULT”,
“enable_persistent_index” = “true”,
“replicated_storage” = “true”,
“storage_medium” = “HDD”,
“compression” = “ZSTD”
);
如何解决。能否新版本像3.0一样压缩效果好一些。
我也发现,新版本的压缩就像是假的。之前调研的结果是可以有好的压缩效果,现在又不行了!
同问,测了下269g的csv导入后110g,压缩率只有2.多太低了