【2021-12-04】走近Pipeline执行引擎,Latency和QPS如何此消彼长

StarRocks Hacker Meetup 是 StarRocks 社区组织的面向开发者的线下活动,旨在通过面对面的交流帮助开发者深入了解 StarRocks 核心功能的实现原理,和开发者共同探讨数据库领域的前沿技术。
第一季 Hacker Meetup 共4期,将持续2个月,每两周探讨一个 StarRocks 的核心功能。欢迎大家持续关注。第三期 Hacker Meetup 将在12月4日与大家见面!

目前市面上常见 OLAP 系统的执行引擎,不管是基于 Pull 模型还是 Push 模型,在多核并行加速提升计算性能方面做出了一定的探索。StarRocks 从生产环境出发,考虑到高并发简单查询场景,混合 Workload 的查询场景,简化并行度设置和后续执行引擎的持续优化提速等主要需求,开发了新的 Pipeline 执行引擎;采用了 Push 模型、协作式任务调度、算子并行化和 IO 异步化的等技术,在查询性能上有非常显著的提升。

StarRocks 在 Pipeline 执行引擎上做了那些探索呢?12月04日,StarRocks 的核心开发冉攀峰会分享 StarRocks 在构建 Pipeline 执行引擎时的思考和实践,包括:

  • Pipeline 执行引擎解决了现存执行引擎的哪些问题?
  • Pipeline 执行引擎用到了那些技术?
  • Pipeline 执行引擎的技术原理
  • Pipeline 执行引擎开发过程中,主要踩过哪些技术的坑?
  • Pipeline 执行引擎的思考总结和展望

快来扫描海报二维码,报名一探究竟吧!

时间:2021年12月4日 14:00-17:00

地点:拓荒族 三层(中关村创业大街10号楼)

演讲嘉宾:冉攀峰(StarRocks 核心研发,知乎@satanson)

*受疫情影响的原因,本次 Meetup 入场券有限,先到先得。社区将会审核您的报名信息,StarRocks 项目的 Contributor 拥有优先通过权,请以报名成功的短信通知为准。

这个冬天,让 StarRocks 陪你尽数领略技术之美!

1赞

期待冉老师的技术分享,在知乎上追老师很长时间了。老师的很多解答,让人豁然开朗。

2赞