【详述】routine load 任务状态running ,但是不消费kafka
【背景】be节点重启后恢复正常几分钟,又假死状态
【业务影响】影响业务计算
【是否存算分离】
【StarRocks版本】:2.1.2
【集群规模】1fe(1 follower )+8be(fe与be混部)
有什么详细的报错信息吗 ```
show routine load for db.job_name
任务状态为PAUSED时:
1. 可以先查看ReasonOfStateChanged定位下原因,例如“Offset out of range”
2. 若ReasonOfStateChanged为空,查看ErrorLogUrls可查看具体的报错信息
curl ${ErrorLogUrls}
如果以上方法不能获取具体异常,可以执行以下命令查看,由于routine load是按周期调度的stream load任务,所以可以通过调度的任务查看任务的状态
show routine load task where JobName=“routine_load_wikipedia”
查看Message字段可以看到具体异常
如果以上方法都不能排查到问题,可以拿到job id在be.INFO日志中找到txn id,然后通过txn id在be.INFO中查看上下文 ,然后StarRocks的版本也有点低了 可以升级下版本 推荐是lts 2.5.*的最新版本
show routine load task where JobName=‘mds_log_weblog_expo1’
返回
TaskId | TxnId | TxnStatus | JobId | CreateTime | LastScheduledTime | ExecuteStartTime | Timeout | BeId | DataSourceProperties | Message |
---|---|---|---|---|---|---|---|---|---|---|
bdd5cfcf-3df2-451b-b603-90a4d373672d | 134835968 | UNKNOWN | 143687037 | 2024-01-16 23:00:26 | 2024-01-16 23:00:36 | 2024-01-16 23:00:36 | 15 | 25917549 | {“16”:9512019014,“1”:10008968728,“21”:11012440900,“6”:9435037865,“26”:10009494353,“11”:9426003371} | task submitted to execute |
7bde109c-0ea4-48ea-a15e-13a59f5b91e1 | 134835970 | UNKNOWN | 143687037 | 2024-01-16 23:00:26 | 2024-01-16 23:00:36 | 2024-01-16 23:00:36 | 15 | 6314710 | {“17”:9554407305,“2”:9511055645,“22”:10009454270,“7”:11015459342,“27”:9435667657,“12”:10010720213} | task submitted to execute |
c52b1baf-1ee2-4b46-876c-85ccda5f58fc | 134835974 | UNKNOWN | 143687037 | 2024-01-16 23:00:27 | 2024-01-16 23:00:37 | 2024-01-16 23:00:37 | 15 | 6314710 | {“0”:11025495275,“20”:9435753483,“5”:10009653942,“25”:9414710587,“10”:9554442867,“15”:10008099968} | task submitted to execute |
d7ac89bd-23c5-4149-b155-1aa4aaa27cb5 | -1 | UNKNOWN | 143687037 | 2024-01-16 23:00:29 | NULL | NULL | 15 | -1 | {“18”:9414686836,“3”:9554169747,“23”:9511014568,“8”:10009067375,“28”:11015403432,“13”:9436470427} | NULL |
bd0f1227-c9bd-4137-89ec-ac20a29922c0 | -1 | UNKNOWN | 143687037 | 2024-01-16 23:00:30 | NULL | NULL | 15 | -1 | {“19”:10008361975,“4”:9414712193,“24”:9554057029,“9”:9511161188,“29”:10009099436,“14”:11031908408} | NULL |
任务都报错 failed to send task: failed to submit task. error code: TOO_MANY_TASKS, msg: efdeabf0d7494c23-8ee186bbb28dbb3b