routine load 假死不消费kafka

【详述】routine load 任务状态running ,但是不消费kafka
【背景】be节点重启后恢复正常几分钟,又假死状态
【业务影响】影响业务计算
【是否存算分离】
【StarRocks版本】:2.1.2
【集群规模】1fe(1 follower )+8be(fe与be混部)

有什么详细的报错信息吗 ```
show routine load for db.job_name



任务状态为PAUSED时:

1. 可以先查看ReasonOfStateChanged定位下原因,例如“Offset out of range”
2. 若ReasonOfStateChanged为空,查看ErrorLogUrls可查看具体的报错信息

curl ${ErrorLogUrls}


如果以上方法不能获取具体异常,可以执行以下命令查看,由于routine load是按周期调度的stream load任务,所以可以通过调度的任务查看任务的状态

show routine load task where JobName=“routine_load_wikipedia”


查看Message字段可以看到具体异常

如果以上方法都不能排查到问题,可以拿到job id在be.INFO日志中找到txn id,然后通过txn id在be.INFO中查看上下文  ,然后StarRocks的版本也有点低了 可以升级下版本  推荐是lts 2.5.*的最新版本

show routine load task where JobName=‘mds_log_weblog_expo1’

返回

TaskId TxnId TxnStatus JobId CreateTime LastScheduledTime ExecuteStartTime Timeout BeId DataSourceProperties Message
bdd5cfcf-3df2-451b-b603-90a4d373672d 134835968 UNKNOWN 143687037 2024-01-16 23:00:26 2024-01-16 23:00:36 2024-01-16 23:00:36 15 25917549 {“16”:9512019014,“1”:10008968728,“21”:11012440900,“6”:9435037865,“26”:10009494353,“11”:9426003371} task submitted to execute
7bde109c-0ea4-48ea-a15e-13a59f5b91e1 134835970 UNKNOWN 143687037 2024-01-16 23:00:26 2024-01-16 23:00:36 2024-01-16 23:00:36 15 6314710 {“17”:9554407305,“2”:9511055645,“22”:10009454270,“7”:11015459342,“27”:9435667657,“12”:10010720213} task submitted to execute
c52b1baf-1ee2-4b46-876c-85ccda5f58fc 134835974 UNKNOWN 143687037 2024-01-16 23:00:27 2024-01-16 23:00:37 2024-01-16 23:00:37 15 6314710 {“0”:11025495275,“20”:9435753483,“5”:10009653942,“25”:9414710587,“10”:9554442867,“15”:10008099968} task submitted to execute
d7ac89bd-23c5-4149-b155-1aa4aaa27cb5 -1 UNKNOWN 143687037 2024-01-16 23:00:29 NULL NULL 15 -1 {“18”:9414686836,“3”:9554169747,“23”:9511014568,“8”:10009067375,“28”:11015403432,“13”:9436470427} NULL
bd0f1227-c9bd-4137-89ec-ac20a29922c0 -1 UNKNOWN 143687037 2024-01-16 23:00:30 NULL NULL 15 -1 {“19”:10008361975,“4”:9414712193,“24”:9554057029,“9”:9511161188,“29”:10009099436,“14”:11031908408} NULL

查看txn id 上下文


基本都是这样

任务都报错 failed to send task: failed to submit task. error code: TOO_MANY_TASKS, msg: efdeabf0d7494c23-8ee186bbb28dbb3b