StarRocks 开源三周年:初心不忘,征程不止!

今天,我怀着满满的喜悦与感激,和大家分享一个特别的时刻——StarRocks 开源三周年啦!

2021 年 9 月 8 日,StarRocks 开源社区诞生。从第一天开始,我们怀揣着“打造世界一流的数据分析产品”的梦想,踏上了星辰大海的征途。

三年间, StarRocks 在 GitHub 上收获了 8600+ Stars,产品共迭代发布了 140 余个版本,420+家市值超过 10 亿美元的头部用户在生产环境中上线运行 。StarRocks 过去三年在“极速统一”的道路上持续升级,完成了从全场景 OLAP 分析到云原生湖仓(Lakehouse)分析的进化,让数据分析变得简单、高效、普惠。

Lakehouse Evolution

从诞生之初,StarRocks 就不断在探索数据分析的“极速统一”之道。全面向量化引擎、CBO 查询优化器、实时更新数据模型、Pipeline 执行引擎相继发布,将 OLAP 分析性能提升到了新的高度,引领业界大数据分析的发展趋势。

随着数据分析及AI技术的发展,数据分析架构正朝着湖仓方向不断演进,StarRocks 在过去几年,持续拓展产品能力边界,支持存算分离架构,开放数据湖分析等关键能力, 实现 OLAP 到云原生湖仓的快速进化,通过湖仓架构让企业能基于一份数据,满足 BI 报表、Ad-hoc 查询、Customer-facing 分析等不同场景的数据分析需求,实现 “One Data,All Analytics” 的业务价值。

过去一年,StarRocks 在存算分离架构、Lakehouse、AI 等方向持续提升,先进的产品能力让数据分析变得更加的简单高效。

StarRocks 在存算分离主键模型、数据 Compaction 与 GC、冷查询优化、Data Cache、计算节点调度等方面持续提升, 存算分离架构核心功能上已经对齐存算一体架构。社区已有上百家企业在生产环境部署存算分离架构,通过存算分离架构降低存储成本,提升计算弹性,实现业务的降本增效。

StarRocks 在 Lakehouse 能力上全面提升, Hive 、Iceberg、Delta lake、Paimon、Hudi 等开放数据湖生态实现深度连接, StarRocks 可以直接查询、写入开放数据湖,并通过 Data cache、异步物化视图等技术进一步提升数据湖分析性能, 性能相比业界竞品快3-6倍。StarRocks 社区持续推动 Lakehouse 架构理念在中国的落地时间,社区已有数十家头部企业基于 StarRocks 构建 Lakehouse 分析架构,兼具 数据仓库 高性能与数据湖开放低成本的优势。

StarRocks 在 AI 场景相关能力持续提升,借助 Lakehouse 架构可以方便的实现一份开放格式的数据,同时服务 AI、 BI 等应用场景。 在深度学习模型训练的场景,StarRocks 提升了 数据加工处理、部分列更新 等能力提升模型数据准备、训练过程的效率;在大模型的场景,StarRocks 支持了 向量检索 的能力,用户可以方便的构建 Retrieval Augmented Generation(RAG) 应用。

More Than Just Code

截至今日,StarRocks 社区已有超过 420 位贡献者。在这个特别的时刻,我们要向长期为 StarRocks 社区发展贡献力量的贡献者们致以深深的感谢。 镜舟科技作为社区的中坚力量,推动社区持续迭代,同时越来越多的业界知名企业如阿里云、腾讯、火山引擎等也参与了 StarRocks 社区的开发,助力 StarRocks 持续领先业界。

这里只列出 3.1 版本之后的大 feature 贡献,3.1 版本之前的功能请见:https://mp.weixin.qq.com/s/4dAZz8xad5jwVlm4BL-1HA

除了在代码共建方面的贡献,许多用户也与我们携手同行,走在技术的前沿,通过技术布道帮助业界更深入地理解Lakehouse,并推动其在实际业务中的应用。目前,StarRocks 社区已收录了上百个业界领先企业的最佳实践案例,希望这些宝贵的经验能为你带来启发与帮助!以下只精选了一些具代表性的案例,完整合集请见:最全合集|StarRocks 精选资料库!(长期更新)

无需数据搬迁,10倍性能提升!携程的统一分析之旅

StarRocks 在小红书自助分析场景的应用与实践

成本下降 50%,腾讯音乐 StarRocks 存算分离大规模实践!

微信基于 StarRocks 的湖仓一体实践

StarRocks x Paimon 构建极速实时湖仓分析架构实践

StarRocks 社区突飞猛进的发展要得力于所有社区参与者的共同努力,以上列出的感谢名单并不是全部,代表 StarRocks 社区最高荣誉的奖项——StarRocks Awards 也会在今年年底揭晓,敬请期待。

Hello World :)

经过三年的沉淀,StarRocks 在国际的舞台上逐渐崭露头角。连续两年在 Databricks Data+AI 峰会上获得关注,在湖仓和大数据生态系统中占据了举足轻重的地位。更令人鼓舞的是,越来越多国际知名企业 Airbnb、Pinterest、Shopee 、Coinbase 等用户开始主动分享他们使用 StarRocks 的经验和成果。 现在,让我们一起回顾 StarRocks 的全球发展之路。StarRocks 的世界旅程才刚刚起步,未来还有无限的可能等待探索和实现!

One More Thing…

最后,为了助力用户轻松迈入 StarRocks 的世界并精通其极速统一数据分析的能力,社区最近推出了 StarRocks Education —— 一个由 StarRocks 资深专家团队精心打造的在线培训和认证平台。 现在,掌握 StarRocks 变得前所未有的简单。开启你的学习之旅:https://www.mirrorship.cn/zh-CN/training/home

未来, StarRocks 社区也将保持着合作、开放、共赢的信念,与用户们一同探索新一代云原生湖仓,共同打造极速统一湖仓分析的新范式!让我们期待更加精彩的下一周年!

1赞