问题描述:
从今天下午14:40起,starrocks fe内存暴涨,一直高居不下,下面的内存占用截图:
我抓取了一部分fe的gc日志,截图如下:
看起来内存是一直在膨胀,fe的配置内存是8个G,也即目前内存占满了,并没有回收,我想请问下,和我这两天上线的kafka routine load有没有关系?
问题描述:
从今天下午14:40起,starrocks fe内存暴涨,一直高居不下,下面的内存占用截图:
我抓取了一部分fe的gc日志,截图如下:
跟导入是有关系的,FE机器只有8G内存吗?FE可以配置FE JVM的
补充下,用这个命令:ps p 3304 -L -o pcpu,pmem,pid,tid,time,tname,cmd(大量输出,大概184个),输出如下:
请问如何配置呢?fe内存只配置了8G,目前
和这个配置有没有关系呢?max_routine_load_task_num_per_be,这个参数我配置的是100
FE服务器一共多少G内存
这些配置默认值就好了 不要乱调 这个默认值是5
先把参数调整,再测试一下先吧 16G机器 8G JVM也是ok的
如果保持默认值,那我的集群就只能有几个kafka routine load任务了?
我总共有20-30个kafka routine load任务,如果这个配置改为默认,那我集群是不是就只能有几个kafka routine load任务了?
另外,这个参数怎么调?routine_load_thread_pool_size,我调的100,或者这样说,如果我的集群有30个kafka routine load任务的话,需要调整哪些参数呢?
有30个kafka routineload任务
max_routine_load_task_num_per_be
单个BE节点上最多可调度的routine load task数量。
这个可以配置高点。
咱们任务较多,FE JVM没有full gc 应该不用调整,如果出现full gc 就调到10G 12G测试一下吧。
我最开始给的100,fe内存就满了,be内存也70%了,
另外,routine_load_thread_pool_size这个参数怎么调整好一些?
写入频率尽量少,增加每批数据量。
max_batch_interval这个我给的20秒,
routine_load_task_consume_second,这个我没调整,默认的,
max_routine_load_batch_size,这个我也没调,默认的,
单个BE来计算
routine_load_thread_pool_size 尽量< be_core_num / 2
那这样相当于就没调了,因为我的核数是8核,如果所有配置保持默认值的话,我的集群能支持30个kafka routine load任务吗?
你跑一下吧,FE内存涨到 full gc就调10G 12G