3.1.15 导入主键表 IO 非常高 , rocksdb大量写入

【详述】导入 2w / 分钟 到主键表 , 10块硬盘io都打满了 cpu、内存都正常 , iotop看到大量 rocksdb的写入,
cluster_balance/pending_tablets 大量的 REPAIR 在队列中
【业务影响】是
【是否存算分离】 否
【StarRocks版本】3.1.15
【机器信息】3fe 、3be 64h/128g/ 万兆 /10块ssd
【联系方式】wangleizhao@163.com
【附件】

image

be.conf 这样配置试试

enable_pindex_filter=false
enable_pindex_compression=false
enable_pindex_minor_compaction=false
rocksdb_cf_options_string=block_based_table_factory={block_cache={capacity=1024M;num_shard_bits=0}}

因为业务在线的问题,这些参数可以动态调整么?

有一个业务场景咨询下,我们有一些指标报表是大宽表(主键表),我有几十个独立的fink任务在更新这个大宽表,每个任务更新的行数很多,但是只更新1列指标。 现在io也是非常高, 这样的场景用什么样的方式或表 可以降低io压力呢?

一次是更新所有行吗?

如果是的话用列式partial update试试

不支持动态修改

一个flink任务更新 这个表的2千多行的一列指标,另外的十几个任务更新同一个表的同样2千行的另外一列指标
现在已经在用 partial update了, io还是非常高。 10s一次。 数据量不大,但是io非常高

你用的是row partial update 还是 column partial update

sink.properties.partial_update_mode 这个加上,配置成column,试下

我集群是ubuntu 22.04 部署的,我加了一个节点 centos7.9的, 均衡结束后,这台机器的io使用率仅有10%, 其它机器io使用率 70%

部署文档上面的系统优化都做了, be.conf都是一样的,请问如何继续排查?

你好,Flink partial_update_mode配置column写出报错 “Mixed upsert/delete transactions not supported in column mode partial updates”, 请问下column是不支持delete操作吗?row是可以的