(PPT/回放已上传)直播|StarRocks 技术内幕 :低基数全局字典优化

String 类型数据遍布于数据库和存储系统。为了提升 String 处理效率、节省存储资源,出现了很多针对 String 类型进行优化的技术手段,如前缀编码压缩以提升 String 存储效率,各类字典应用以加速 String 处理。

在处理相同数据量的情况下,String 类型的处理时间差不多是整型的 2-3 倍。如果使用整型来替代 String 类型进行数据处理,系统性能将显著提升!

在 MPP 架构下,通常的字典优化只能作用于单机或存储层,无法全局生效。如果能够使用全局字典,就可以在更多场景下触发字典优化,让字符串处理速度和整形接近,进一步提升查询性能。

那么 StarRocks 是如何基于全局字典来进行低基数 String 查询优化呢?

7 月 28 日 19:00-20:00,StarRocks 数据库研发工程师冯浩桉将现身直播间,为你解读 StarRocks 核心团队的技术内幕。

1赞

视频回放地址:
https://www.bilibili.com/video/BV1ra411N7g8/?vd_source=1cb452610138142d1300dd37a6162a88

StarRocks 全局字典优化(3).pdf (1.7 MB)