flink-sql写入starrocks报错内存不足

为了更快的定位您的问题,请提供以下信息,谢谢
【详述】flink-sql实时写入starrocks主键表中,每天凌晨报错be内存不足
【背景】
【业务影响】
【是否存算分离】无
【StarRocks版本】3.15
【集群规模】3be+3fe混合部署
【机器信息】16c64g
【联系方式】vx: sun7891011
flink-jobmanager报错:

sql如下:
CREATE TABLE ods_base_trade_trade_order (

action string,

timestamp STRING ,

schema STRING ,

table STRING ,

columns ARRAY<ROW<name STRING,type STRING,value STRING>>

) WITH (

‘connector’ = ‘kafka’, --kafka连接器

‘topic’ = ‘ods_base_trade’,

‘properties.bootstrap.servers’ = ‘cdh01:9092’,

‘properties.group.id’ = ‘group0820’,

‘scan.startup.mode’ = ‘earliest-offset’,

‘format’ = ‘json’, --指定格式

‘json.ignore-parse-errors’ = ‘true’

);

CREATE TABLE rt_base_trade_trade_order (

id                           varchar not null ,

actions varchar(10),

loaded_time timestamp,

PRIMARY KEY (id) NOT ENFORCED

)WITH (

‘jdbc-url’ = ‘jdbc:mysql://xxxx:9030’,

‘connector’ = ‘starrocks’,

‘database-name’ = ‘xxx’,

‘table-name’ = ‘xxx’,

‘password’ = ‘xxx23’,

‘load-url’ = ‘xxx:8036’,

‘username’ = ‘xx’,

‘sink.properties.format’ = ‘json’,

‘sink.properties.strip_outer_array’ = ‘true’,

‘sink.max-retries’ = ‘10’,

‘sink.buffer-flush.interval-ms’ = ‘3000’,

‘sink.parallelism’ = ‘5’
);

目前be.conf中设置enable_new_load_on_memory_limit_exceeded = 0
mem_limit=8G
disable_column_pool=true
chunk_reserved_bytes_limit=100000000

sr中报错:

be物理内存有多大,be可使用内存mem_limit 8G太少了,资源足够可以调大。另外主键模型表可以开启主键索引落盘enable_persistent_index=true减少主键模型导入数据内存使用。

嗯呢,该表enable_persistent_index=true已经开启了,想咨询下这个内存是怎么计算的啊,该表实时写入的数据不多的,不明白为啥每天会失败

物理内存64G,内存可以调大,主要怕调大了,后面还是会报

mem_limit 是BE 进程内存上限,包括的内存使用不止是导入的内存,64G的机器设置8G太浪费了,可以设置48G

明白,所以限制单个查询的内存上限是限制query_mem_limit是吧,所以be进程的总内存包括了哪些啊

管理内存 | StarRocks 可以看下该文档