sr通过stream load 导入数据,突然卡住

为了更快的定位您的问题,请提供以下信息,谢谢
【详述】通过stream Load 导数到sr,突然卡住,排查发现是有一个be异常,重启恢复正常,可以帮忙看下是为什么卡住嘛
【背景】stream Load 导数
【业务影响】
【StarRocks版本】2.5.6-a193ae0
【集群规模】2fe+3be
【机器信息】fe:8c/16g; be:16c/64g
【联系方式】社区群1-桌椅板 邓

be.WARNING.log.20230813-012101.zip (12.0 MB)

be.INFO.log.20230830-124051.zip (48.3 MB)

异常是8点多开始的,9点我们重启就恢复正常了

be一直在报FragmentMgr cancel worker going to cancel timeout fragment

麻烦确认下机器的Memory Overcommit和Swappiness是不是没按照推荐走 参考 : https://docs.starrocks.io/zh-cn/latest/deployment/environment_configurations#内存设置」

升级到2.5.11试试

配置都是配置过的

请问2.5.11修复的问题,在3.1.2也会修复嘛

不确定是不是同一个问题,先升级观察下

请问解决了吗 3.1 版本同样遇到此问题 使用 Spark SQL 导入 主键模型数据

3.1已发布版本,还未修复,调下 调大 be.conf be_http_num_workers=96 scanner_thread_pool_thread_num=96 试试

scanner_thread_pool_thread_num 调大这个参数是由于因为 后端主键模型合并 速度跟不上导致该异常的嘛 :grin:

不是,是有个死锁的BUG