routine load任务消费kafka如果更快落盘

【StarRocks版本】例如:1.19.5
【集群规模】
3fe(3 follower)+3be(fe与be独立部署)

【机器信息】CPU虚拟核/内存/网卡
16C 32G

【导入/导出方式】
routine load导入

【详述】问题详细描述

最近经常出现业务数据经常超过10多秒才能在starrocks中查询到。
业务数据增长量并不快,每分钟几十条数据
调整了如下两个参数,效果不明显
desired_concurrent_number:导入并发度,指定一个导入作业最多会被分成多少个子任务执行。必须大于0,默认为3。
max_batch_interval:每个子任务最大执行时间,单位是「秒」。范围为 5 到 60。默认为10。 1.15版本后 : 该参数是子任务的调度时间,即任务多久执行一次,

请教下:routine load任务通过哪些参数或者配置调整可以实现数据最快落盘。

max_batch_interval这个是控制导入的频率的,延时的时间是 (max_batch_interval ~ 2*max_batch_interval) + routine_load_task_consume_second。routine_load_task_consume_second是fe的配置,默认是3秒。

现在设置max_batch_interval=5,routine_load_task_consume_second=1
但是感觉消费kafka还是慢,查看topic的消费延迟截图如下


总有一两个分片会有消费堵塞

我也遇到类似的问题,请问解决了吗?

@U_1666230064358_3282
请问你现在的具体问题是? routine load配置是什么样的?