【回放+PPT】StarRocks Summit Asia 2022 圆满闭幕,极速统一 3.0 时代开启

在金融、零售、物流、智能制造等行业,传统的 " 隔日 " 数据分析模式跟不上业务迭代的速度。

原有数据架构即便做了局部修补和创新,企业用户还是不得不用多个数据库才能满足需求。

经营效率难以提升,管理成本水涨船高。

基于 " 极速统一 " 的数据分析新范式,打造新一代极速全场景 MPP 数据库,面向复杂查询、高并发、实时分析等各类场景达成数据价值的最大化,创造更大的业务成就。这是 StarRocks 创建的初衷。

9 月 24 日, 年度盛典 StarRocks Summit Asia 2022 举行,40 多位社区成员、生态伙伴和行业专家出席分享。本次大会上,StarRocks 社区首次全方位解析 StarRocks 功法秘笈,并正式发布 StarRocks 极速数据湖分析,开启了极速统一 3.0 时代。

#01

极速统一 3.0:从 OLAP 到湖仓

为了给用户提供更快、更灵活、更实时的分析体验,过去一年, StarRocks 不断打磨产品的功能、性能、稳定性,修改了 80 多万行代码,发布了近 50 个版本。

一年前,StarRocks 社区以 Primary Key 为象征开启了极速统一 2.0 时代,从此用户能够通过 StarRocks 同时进行实时数据和历史数据的分析。

本次大会上, StarRocks PMC Chair 赵纯 代表社区正式发布极速统一 3.0,让用户能够在 StarRocks 上同时进行极速分析与极速数据湖分析。

1

极速 OLAP

经过一年的打磨,StarRocks 在 SSB 单表、SSB 多表、TPC-H 三个标准测试集下,相比于去年同期,性能提升 50%-80%。

在物化视图、资源隔离、Query Cache、自动化数据分布、导入优化等各个核心功能均有重大突破。

2

极速数据湖分析

StarRocks 认为,极速数据湖分析就是为用户提供性能堪比数据仓库的数据湖分析。

从整个架构层面可以看到,当前 StarRocks 的数据湖分析已经具备了存算分离、弹性伸缩的能力。在存储层,数据支持按照 Apache Hive、 Apache Iceberg、 Apache Hudi 等主流表格式维护在对象存储之上。在计算层, 从查询生命周期来说,StarRocks 的无状态计算节点 compute node,已经可以负责从扫描到聚合的全部计算任务;当前 StarRocks 已经可以部署在 k8s 之上,感知系统负载并进行灵活的资源调度与节点伸缩,无需数据迁移,更好支持资源峰谷场景。在控制层,FE 统一接入各类主流数据湖的元数据,并对湖上查询请求进行统一调度和规划。

StarsRocks 在数据湖的工作主要分为四个维度: 更开箱即用的数据接入模式,性能更加极致的分析体验,更灵活的弹性,更自由的数据分析方式。 如今,用户通过 StarRocks 进行数据湖分析,一方面,能够享受存算分离、弹性伸缩等前沿技术带来的降本增效,另一方面,无需数据导入即可享受到堪比数仓分析的极速性能体验,更加敏捷地从数据湖中获取灵感和洞见,驱动业务增长。

(SSB Benchmark 场景下,StarRocks 湖分析的性能 VS 导入 StarRocks 后分析的性能)

3

云原生进行时

当前,业界主流的云原生数据仓库尚不能完全解决实时问题。

赵纯表示,StarRocks 正在坚定不移地向云原生方向努力,计划在不久的将来为用户带来云原生版本的极速统一分析体验。

在新的云原生架构支持下,StarRocks 会提供完全的存算分离方案来降低存储成本、提升计算弹性,支持多租户的资源隔离和数据共享能力,企业可以根据业务负载变化,灵活调整计算资源的使用,进一步降低计算资源的成本。

#02

新范式的共建

身处技术创新驱动的时代,只有开放协作才能带来巨大进步,创造非凡成就。

分布全球各地的用户和开发者、深入行业难题的商业力量、头部云计算厂商……各种角色的参与和共建让 StarRocks 社区不断成长壮大,助力极速统一的数据分析新范式赋能更多场景。

1

携手多 " 云 " 打造新一代数据架构

作为新一代数据架构的创新者,阿里云开源大数据团队深度参与 StarRocks 社区共建,在支持 Apache Hive/Apache Iceberg/Apache Hudi 数据源的全新 Connector 框架、异步 CTAS 等功能、主键模型增强、统一导入模型等方面已贡献代码数万行。

阿里云计算平台事业部产品解决方案总经理陈立 在大会分享中表示: StarRocks 是阿里云在数据湖 3.0 云原生化、弹性化、实时化的重要产品之一。

如今,在 Lakehouse 分析场景下,通过 StarRocks 全面的向量化执行引擎优势、更智能的优化器,阿里云在 TPC-H 100G 的性能提升了 3-10 倍,给用户带来了更加强大的分析能力。

Lakehouse 是 StarRocks 的目标,也是联合阿里云、腾讯云等合作伙伴开展合作的立足点。就在今年 5 月,阿里云 EMR、腾讯云 EMR 都发布了云上 StarRocks 产品,与社区合作打造出了高可用、低成本的极速统一分析服务。

腾讯云 EMR 业务负责人陈龙 在会上表示: 双方通过共建极速统一的云上 Lakehouse,正在让各行各业客户的数据分析提质加速。

如今,腾讯云用户无需将数据导入到 StarRocks 中,直接利用 StarRocks 来查询数据湖数据,无需构建昂贵的数仓,即可实现亚秒级的查询速度,统一分析离线和实时数据,全面发挥湖仓架构的潜在优势。

2

开源世界驶出 " 镜舟 "

以人为镜,以梦为舟。

天地间的创新,正发生于开放分享的社区共同体,商业力量的参与让社区项目达到了新的高度。

目前已经有数家公司基于 StarRocks 开发出了企业级产品,致力于 解决企业数字化转型最后一公里难题 的镜舟就是其一。

镜舟科技 CEO 孙文现 表示,有了镜舟数据库,客户有望随时随地、随心随欲地使用数据,不再担心数据源不统一、维度多了速度慢、一线分析师无法做复杂查询、相关产品之间不能兼容等问题。

借助专业团队与客户的深耕实践,镜舟主要洞察了 金融、零售、制造、物流、电商、游戏、汽车出行、泛互联网等八大行业 。接下来,镜舟将进一步向各大行业进行完善和打磨产品,提供更优质的解决方案、服务能力和更完善的产品能力。

3

与用户共创价值、看见未来

本次大会上, 华润万家、OPPO、中原银行、众安保险、京东物流、百草味等 30 多位重磅的企业级用户 轮番上场,深入解析了金融、新经济、互联网等行业的最佳实践和发展趋势。

作为首度亮相 StarRocks 社区的银行业用户,中原银行吸引了不少关注。拥有 18 家分行、750 个营业网点,资产总额超过 1.2 万亿,洞悉数据分析趋势、又快又稳地应对当前挑战,是中原银行大数据工作的重中之重。

面向未来, 中原银行数据信息部副总经理刘远东 认为,一个卓越的分析型数据库需要满足四点: 一,有完整的上下游生态,从上游的数据接入到下游的可视化,整体生态构建成熟;二,有一定的智能化增强,通过 AI 的能力自动优化数据库参数;三,技术栈相对简洁,方便融入企业架构;四,成本和性能达到较好的均衡。

与用户和开发者共创价值是 StarRocks 社区成立的初心,也是 StarRocks 面向未来的努力方向。最近一年,StarRocks 在全球增加了 7000 多名用户,助力超过 170 家大型用户构建了全新的数据分析能力。

知行合一的数据库之路,得幸于专业技术人的洞见和贡献,方能不断进化、赋能用户。感谢各位大会嘉宾的共同建设和开放分享!

:desktop_computer: 观看回放:https://summit2022asia.starrocks.com/
:arrow_down_small: PPT 下载:https://drive.weixin.qq.com/s?k=AA0ATQc1AEoGJbe55Z

回放也可以在 B 站看到:https://space.bilibili.com/1273141509?spm_id_from=333.1007.0.0