StarRocks 1 月社区动态 (2024)

大家好:wave:,欢迎来到《StarRocks 1 月社区动态》!

StarRocks 在 2023 年不断进化,锤炼核心功能,打磨全新特性,成功实现了从全场景 OLAP 到云原生湖仓的全面升级,成为湖仓新范式的造浪者。2024 年,我们期待与您一同续写新篇章,共同迈向“极速统一”的新征程!新的一年,也请大家查收最新一月的社区动态。

这么多精彩的内容,不要错过了:point_down:

:new: 技术动态

:wrench: 版本发布

3.1.7

3.0.9

2.5.18

二进制包下载:

https://www.mirrorship.cn/zh-CN/download

:spiral_notepad: 文档动态

中文文档

文档

  • 部署 > 检查环境配置」:增加参数配置持久化内容。

  • 表设计 > 索引

    • 表设计中增加“索引”章节,包括索引概述,重构前缀索引和排序键,将 Bitmap 索引和 Bloomfilter 索引调整到该章节。

    • 统一“数据模型”的用词,将“数据模型”统一改为“表类型”。各类型的表统一为明细表、主键表、聚合表、更新表。

  • 「管理手册 > 运维集群

  • 「参考」

    • SQL」:优化“用户账户管理”下 SQL 的权限要求。

    • 「函数」:时间函数 date_trunc, adddate, time_slice, date_sub 支持毫秒和微秒 interval。

    • 「系统变量」:补全 SQL mode 的选项。

  • Release notes: 发布 kafka connector,k8s operator 的 release notes

文档网站

  • 将 Release Notes 从左侧导航树移动到右上角。

  • 每个页面底端增加 Feedback 反馈按钮,支持用户对文档做出打分和文字反馈。

:books: StarRocks 文章回顾

技术内幕:

Apache InLong 实时同步数据到 StarRocks 原理与实践

StarRocks 支持通过 Stream Load 方式实时写入数据,为进一步提升导入效率,从 2.4 版本实现了新的事务接口,本文主要介绍 Stream Load 事务接口实现原理,以及 InLong 基于事务接口实现实时同步数据到 StarRocks 的实践。

StarRocks 生成列:百倍提速半结构化数据分析

生成列功能是一种加速半结构化分析的有效手段,当面对复杂的半结构化表达式计算时,可以为其添加对应的生成列,在导入阶段自动完成表达式计算,并将结果持久化。在查询阶段通过优化器的自动改写,直接从生成列中获得表达式计算结果,避免实时的表达式计算,实现透明加速。

StarRocks 在 3.1 版本正式推出 生成列(Generated Column) 特性,提供一种透明加速的解决方案,能有效提升半结构化数据的分析效率,令用户拥有更极速的分析体验。

用户案例:

申万宏源基于 StarRocks 构建实时数仓

当前,证券行业对数据的时效性、多样性和灵活性提出了更高的要求,为了解决实时数仓的挑战,申万宏源于 2023 年引入 StarRocks 对实时数仓整体架构进行了新的设计,目前基于 StarRocks 构建的实时数仓已经在申万宏源的财富管理类、投资研究类和风险管理类等多个场景中得到应用。

腾讯实验平台基于 StarRocks 构建湖仓底座

在 2022 年,腾讯 A/B Test 团队启动了海外商业化版本 ABetterChoice 的建设。目前,ABetterChoice 已接入王者荣耀海外版、PUBG Mobile、Ubisoft 全境封锁等业务。希望能够基于 StarRocks + 数据湖的整套数据生态,在深耕海外市场的同时,也能为社区和业界提供一个产品出海的新范式。

StarRocks 在小红书自助分析场景的应用与实践

近两年 StarRocks 一直是小红书 OLAP 引擎体系里非常重要的部分,过去一年,小红书的 StarRocks 使用规模呈现出翻倍的增长速度,目前整体规模已经达到 30 个集群,CPU 规模已经达到了 3 万。

:new: 短视频上新

这个月,我们新增了一个短视频模块,旨在帮助小伙伴们更准确、更迅速地获取关键信息。

8分钟带你极致体验 Flink CDC 3.0 实现 MySQL 与 StarRocks 实时数据同步

StarRocks 借助 Unified Catalog 实现数据湖统一数据访问

物化视图–湖仓加速利器

:mailbox_with_mail: 来自社区小伙伴的文章

感谢 jingyu鲸鱼、王坤、小景、HBLOG、运维仙人、 ClouGence、王日宇(阿里云)和刘成彬(游族网络)等小伙伴的分享!

如希望自己的博客被收录在社区月刊里,欢迎私信、评论或是联系 SR 小助手~

用户/生态案例:

使用 Paimon + StarRocks 极速批流一体湖仓分析

StarRocks 在游族的多维分析场景与落地实践

技术文章:

初探 StarRocks 明细模型

最佳实践

K8s上部署StarRocks v3.1.5存算分离验证环境

StarRocks创建 MySQL 外部表

StarRocks 最佳实践

StarRocks集群部署操作&性能测试(SSB,TPC-H)

StarRocks入门

大数据StarRocks(二) StarRocks集群部署实战

大数据StarRocks(三) StarRocks数据表设计

大数据StarRocks(四) :常用命令

大数据StarRocks(五) :Catalog

大数据StarRocks(五) :数据类型

大数据StarRocks(七):数据表创建

大数据StarRocks(八):集群扩缩容

大数据StarRocks(九):资源隔离实战

:sparkles: 社区活动

:tv: 活动回顾

实战营|阿里云 x StarRocks 邀你现场体验云上极速湖仓–深圳站

:tv: 回放 可至 B 站查看:point_right:https://www.bilibili.com/video/BV1CT4y1b7gW/?vd_source=1cb452610138142d1300dd37a6162a88

:arrow_double_down: PPT 下载: 【回放/PPT已更新】实战营|阿里云 x StarRocks 邀你现场体验云上极速湖仓--深圳站

从选择 StarRocks 到大规模使用的思考与实践

:tv: 回放 可至 B 站查看:point_right:https://www.bilibili.com/video/BV18a4y1k7sR/?vd_source=1cb452610138142d1300dd37a6162a88

:arrow_double_down: PPT 下载: 【PPT/回放已更新】从选择StarRocks到大规模使用的思考与实践

StarRocks 2024 Roadmap 全面解读

:tv: 回放 可至 B 站查看:point_right:https://www.bilibili.com/video/BV1P7421T7BG/?vd_source=1cb452610138142d1300dd37a6162a88

:+1: StarRocks 2023 年度总结

回顾过去的一年,StarRocks 社区在产品升级、用户规模、开发者规模的各个方面都取得了显著的进展;4个大版本升级、50个小版本迭代,超过330家市值70亿元以上的大型企业在线上使用 StarRocks,350+位核心开发者加入社区贡献者行列。

凭借所有社区参与者的支持,StarRocks 在2023年不断进化,锤炼核心功能,打磨全新特性,成功实现了从全场景OLAP到云原生湖仓的全面升级,成为湖仓新范式的造浪者;2024,期盼在新的一年里能与你续写新篇章,共赴“极速统一”的新征程!:point_right:查看年度总结

:gift: 新年期望征集

社区的进步离不开大家的支持,新的一年我们也期望能与更多的小伙伴们大步前行、共同成长。

最后,欢迎来 StarRocks 论坛 写下你对社区 2024 年的期望,我们还有好礼相赠。

:point_right: 活动传送门: 湖仓新范式的造浪者 | StarRocks 2023 年度总结 (内涵福利)

:hugs: 参与社区|Be A Rockstar!

:trophy: StarRocks GitHub Monthly Contributors

感谢这些小伙伴为 StarRocks 添砖加瓦,StarRocks 因你而伟大!:adult::rocket::heart:

@839224346 @abc982627271 @ABingHuang @alberttwong @amber-create @AndyZiYe @Astralidea @banmoy

@before-Sunrise @butaozhang @chaoyli @chenhaifengkeda @DanRoscigno @decster @dirtysalt @dujl

@EsoragotoSpirit @evelynzhaojie @freedomDR @fzhedu @GavinMar @gengjun-git @goldenbean @HangyuanLiu @hellolilyliuyi @imay @JackWangCS @jaogoy @Jin-H @jinshuangxian @kangkaisen @kapilsingh421 @kevincai @leoyy0316 @letian-jiang @lingtaolf @lipenglin @LiShuMing @LittleBeeBee

@liuyehcf @liuyufei9527 @lixiaoer666 @luohaha @macroguo-ghy @meegoo @MicePilot @mingmxu

@miomiocat @mofeiatwork @Moonm3n @motto1314 @nshangyiming @packy92 @perayb

@predator4ann @qingfengyouchen @rickif @satanson @sduzh @Seaven @sevev @silly-carbon

@silver–bullet @smartlxh @Smith-Cruise @srlch @starrocks-xupeng @stdpain @stephen-shelby

@stonechen111 @trikker @trueeyu @TszKitLo40 @wangsimo0 @Waterkin @wg1026688210

@WholeWorld-Timothy @wuxueyang96 @wxl24life @wyb @xiangguangyxg @yandongxiao

@Youngwb @zaorangyang @zdx19981006 @zenoyang @Zhangg7723 @zhangheihei

@zhangyifan27 @ZiheLiu @zombee0

新晋 Contributor :clap::clap:

@kapilsingh421 @JackWangCS @zhangbutao @bobo495" @zhangheihei @Waterkin

@mingmxu @jinshuangxian @freedomDR @chenhaifengkeda" @macroguo-ghy @trikker

感谢你的阅读,有任何的问题欢迎在论坛下方与我们交流!

也欢迎你关注这些我们常出没的地方:point_down:t2:

:star: GitHubBilibili微信交流群:question:论坛| 公众号:StarRockslabs

1赞