多个streamload任务写入同表同分区发现耗时较久

我们的机器其中3台和另外3台磁盘空间差几倍,即使用率也差几倍

您好 当前版本是2.5.6 机器配置都什么差别吗 核数 磁盘挂载等? 可以检查下参数配置看相同吗

线上环境是2.3.3版本,be,fe参数配置都相同,唯一不同的如下图:

是不是这几个节点最后扩容的 建了很多主键模型表 (因为当前主键模型不能自动均衡

标红的是老机器, 我们这边主要以主键表为主,占比95%

如何才能自动均衡?

当前还不支持均衡的操作 分桶大小合理吗? 一些不合理的主键表 可以删除了重新建下

目前是3个,改为6个是否会好些?

单个tablet大小推荐是1G左右 没有用的表就删除掉吧 后面新建的表会优先落到那几个磁盘占用低的节点上

我们单表,如果一天的数据量是20G的话, 6台be节点 bulket设置多少合适?

StarRocks分区分桶注意事项 参考下这个帖子 把单个tablet大小设置的合理一些会有很大的优化作用

好的, 非常多谢

那些操作命令会开启事务? insert into select ? select的时候,会不会有事务发生? 多谢

图种标红的问题,那些情况会发生?


其他监控

cpu和负载还好,只是毛刺

这个话题就太大了 写入部分会有事务的下发和处理 select我理解不会有

routine load任务多了,可能会导致线程全部被占用,按照提示改一下这个参数吧 用来处理跟kafka通信的线程数的 ,需要重启be才能生效, be.conf里: nternal_service_async_thread_num ,默认值是10,可以先调整到15试一下

帮忙看下这个问题,多谢; 导致fe节点卡死


什么版本 麻烦您新开个贴子吧 补充下操作等信息 这个帖子太多问题了 都混淆了

2.3.3 版本