问题描述:
在生产中使用starrocks routine load 消费kafka数据时,task突然报错,任务stop了,截图如下:
建表语句如下:
补充说明:这个任务从昨天开始运行的,下午开发这边发了一个版,对原来任务进行了一些优化,但是我看了topic内容并没有发生变化。
问题描述:
在生产中使用starrocks routine load 消费kafka数据时,task突然报错,任务stop了,截图如下:
补充说明:这个任务从昨天开始运行的,下午开发这边发了一个版,对原来任务进行了一些优化,但是我看了topic内容并没有发生变化。
看一下数据内容,是不是插入的数据不在分区范围内,或者有些字段设置字段长度太小。
对了,请教下,kafka routine load的内存限制是不是也受制于参数:load_process_max_memory_limit_percent
我看我be的日志在报错,而我们的数据量又很大,be报错日志如下:
routine load也会内存不足吗?
load_process_max_memory_limit_bytes = 107374182400
导入内存的使用上限, 默认 100G
load_process_max_memory_limit_percent = 30
默认 30% (默认 mem_limit * 90% * 30%, 上限是 load_process_max_memory_limit_bytes)
我觉得应该是,因为昨天上了一批kafka routine load任务,cpu和内存今天就很高
导入就是增加导入的时间间隔,增加每批导入的数据量来解决。
我把这个参数都调成30秒了,已经够长了,max_batch_interval
导入会增加内存使用,底层数据合并需要CPU,CPU很高吗?
是的,cpu和内存都高
1.sudo top -Hp $be_pid
2.sudo perf top 子进程
BE CPU高可以通过这两个命令 截个图 咱们看下是什么进程导致的。
您用的是什么版本?
好的,我是2.2.4版本
sudo perf top 子进程,这个命令不对吧
load都停了 看就没意义了。。就是load时 CPU很高才看
截图的时候load没停
基本上就是这些进程再占用cpu
版本是多少,集群规模是怎么样?CPU看图也不是很高啊