SIG 近期主要工作:StarRocks DataSource Connector for Apache Iceberg V2
欢迎 Iceberg 老司机和对数据湖分析有强烈热情/需求的伙伴加入我们!
项目背景:
StarRocks 在 2.1 版本开始支持利用外表的方式查询 Apache Iceberg V1。
StarRocks 从 2.3 版本开始,支持了全新的数据源接入框架(DataSource Connector)的预览版本,无需建表即可使用 Catalog 直接查询 Iceberg 的数据。
随着使用 Iceberg 的用户越来越多,对 StarRocks 支持分析 V2 的需求也在不断增加,因此我们希望增加 StarRocks 对 Apache Iceberg V2 的支持。
V2 与 V1 的差别主要在 V2 支持行级删除的格式,它可以支持删除满足某些条件的行数据。详情见:https://iceberg.apache.org/spec/
项目设计文档:
https://docs.google.com/document/d/1ZqVaSI_vBXekqXxNEg8NYvuiKgV2fKpMARhU54FhQaM/edit#
会议目的
1.DataSource Connector for Apache Iceberg V2 设计架构说明
2.需求收集
3.制定后续工作计划
会议时间
日期:2022/07/22
时间:16:30-17:30
会议记录
欢迎大家踊跃参与讨论和后续的研发工作,让新功能提早上线!