String 类型数据遍布于数据库和存储系统。为了提升 String 处理效率、节省存储资源,出现了很多针对 String 类型进行优化的技术手段,如前缀编码压缩以提升 String 存储效率,各类字典应用以加速 String 处理。
在处理相同数据量的情况下,String 类型的处理时间差不多是整型的 2-3 倍。如果使用整型来替代 String 类型进行数据处理,系统性能将显著提升!
在 MPP 架构下,通常的字典优化只能作用于单机或存储层,无法全局生效。如果能够使用全局字典,就可以在更多场景下触发字典优化,让字符串处理速度和整形接近,进一步提升查询性能。
那么 StarRocks 是如何基于全局字典来进行低基数 String 查询优化呢?
7 月 28 日 19:00-20:00,StarRocks 数据库研发工程师冯浩桉将现身直播间,为你解读 StarRocks 核心团队的技术内幕。