(PPT+回放已更新)3/07 19:00 直播 | StarRocks 实战系列 Ep.3—StarRocks 运维的那些事(转发、打卡还可以获得积分奖品!)

StarRocks 实战系列直播至今已经进行了两期,前两期我们针对部署、导入、导入优化以及问题排查等进行了全方位的讲解,相信认真听课的小伙伴,都会有不同程度的收获。3月7日(下周二)该系列直播将迎来第三期,这次我们请到了镜舟数据库负责 StarRocks 技术支持的灵魂人物——景丹来为大家讲解 StarRocks 运维的那些事 。如果你常遇到运维方面的问题,千万别错过了这次的课程与在线提问的环节。本次直播内容包含:

  • 如何管理维护 StarRocks 集群,包括启停集群,升级回滚等操作?

  • 如何备份以及恢复 StarRocks 中的数据,或将数据迁移至新的 StarRocks 集群?

  • 如何配置 StarRocks FE 节点、BE 节点以及系统参数?

  • 如何为 StarRocks 设置监控报警?

  • 常见问题如何解决?

关于 StarRocks 运维,你究竟知多少?不妨来本次直播一探究竟,赶快扫码预约吧~

StarRocks 实战系列直播活动积分规则:

  • 该系列直播积分可累积,如:

    • 打卡前两次直播, 完成上述所有奖励行为事件,获得 80 积分

    • 打卡本次直播,完成上述所有奖励行为事件,获得 40 积分,加上累积的 80 积分,此时总和为 120 积分

    • 依此类推,当累计积分达到 50 分及以上,即可参与积分兑奖

  • 可以选择立即兑换相应奖品,或者等完成上述全部打卡后,根据自己的积分总和在积分商城选择想要的奖品进行兑换,未兑换完的积分将在本系列直播结束后(2023年3月底)自动清零。

  • 成功打卡 全部直播 的小伙伴,将会额外获得 StarRocks 社区纪念徽章。

  • 兑换奖品时请填写:https://tl-tx.dustess.com/4kTjGagl6W

StarRocks 实战系列直播奖品及兑换方式

如果你错过前面两期,请点下方链接进行补课:

https://space.bilibili.com/1273141509/channel/collectiondetail?sid=1124468

最后,预告一下我们实战系列的最后一期—— “查询性能优化“ 将在 3/22 在线直播。大家记得准时观看噢!

注: 如果对活动规则有疑问,可在本帖留言进行讨论哦~

直播间 QA:

  1. 熊孩子二哥:BE或者FE挂掉怎么定位问题

A:BE可参考[问题排查]BE Crash,FE挂掉主要查看fe.log或者meta/bdb/je.info.0

  1. 猫咪卡在臭豆:FE老是fullgc导致切主可能是什么原因呀

A:可能创建的tablet比较多,需要具体分析,可以提供下,jmap -dump:format=b,file=starrocks.hprof $fe_pid(注意:低峰期打下dump,可能导致fe挂掉)

  1. Csong:冷热数据分级存储,支持手动迁移吗?主要想通过自己的调度任务去迁移

A:目前不支持手动迁移,内部自动实现的。cooldown_time支持修改的,也可以调度任务修改这个时间触发迁移。

  1. 木木:外表同步能够增量同步么?

A:目前hive外表支持增量更新,参考Hive catalog @ hive_catalog

  1. 2f:实时热备有什么解决方案吗?

A:目前可以通过双写实现,未来会提供类似binlog的能力。

  1. 2f:打开profile会给集群造成很大压力吗?打开后audit log会不会很大呀?

A:打开profile会有一定的性能损耗,建议只有debug的时候打开。打开audit log不会很大。

  1. 金星星: 怎么kill大查询呢?

A:参考 KILL @ KILL

  1. 不惑: 计划支持streamlaod审计日志吗?

A:当前还不支持,可以github上提个issue

  1. 人畜无害大白:全局参数怎么持久化?

A:set global xxx这种的会持续化道fe的元数据中

  1. 杨泽:有没有好的监控平台?除了社区文档提供的

A:推荐prometheus+grafana,其他的都可以对接fe和be的metrics获取,可以根据自己熟悉的监控平台改造。

  1. 不惑:扩容后支持手动触发某张表的tablet均衡吗?

A:目前不支持,不过内部会自动进行机器和磁盘间的均衡。

  1. xinyu:1fe 3be,v2.4.0,fe oom之后重启fe和重启机器都不能释放jvm_heep,启动后短时间挂掉,怎么恢复?

A:尽快恢复的话,可以调大jvm,然后在内存上升的时候打印下jmap -dump:format=b,file=starrocks.hprof $fe_pid,在论坛开个帖子。

  1. Csong:支持SQL指纹级限流吗?还有spm绑定支持吗?这一块还没太了解

A:当前不支持。限流当前可以参考资源隔离。资源隔离 @ resource_group

  1. RocWay:有没有计划支持C++版的UDF?

A:当前还没有计划,可以在github上提个issue。

  1. 哇咔咔:根据什么指标判断需要扩容FE?

A:一般3个follower能cover大部分的使用场景,如果需要扩展赌qps,可以扩容observer节点。

  1. 动车组:主键模型元数据耗内存的问题有计划解决吗?

A:目前已经支持了磁盘持久化,具体参考数据模型 @ Data_model

  1. 熊孩子二哥:桶数量怎么设定?

A:可以参考 数据分布 @ Data_distribution

  1. 彭军:3.0以后可以不设置桶,做colocation时要求bucket一致,不同的动态分区表会不会有问题?

A:colocate表的场景当前不适合自动分桶,建议还是按照原来的逻辑创建。

  1. 不惑:有什么办法可以修改已有的表的分桶数?或者手动建了新的表,有什么办法快速的把表1的数据复制到表2

A:当前还不支持修改表的分桶个数,建议可以创建新表,通过insert into select方式

积分更新:

1赞

StarRocks运维分享.pdf (4.9 MB)
回放地址:
https://www.bilibili.com/video/BV1Uo4y167Zn/