SR 从2.5.21 升级到 3.1.12 写入磁盘变高

【详述】目前有两套集群,老集群版本2.5.21 ,新集群3.1.12 通过streaming load 方式导入至主键模型,集群表基本上为主键模型,部分为hive 外部表,新集群表多三分之一,但是数据量都差不多,新集群磁盘写入比老集群高了几十倍

【是否存算分离】存算一体
【connector版本】flink-connector 1.2 或者spark-connector 1.2
【集群规模】新老集群都为 3FE 3BE ,老集群为32核128G,新集群64核256G,老集群磁盘挂载了6块盘,新集群挂载了4块盘,但是性能更优,配置更好
【附件】老集群磁盘写入:


新集群磁盘写入:

IoTop如下:image

持续跟踪下这个问题

be.conf enable_pindex_filter=false
enable_pindex_compression=false
enable_pindex_minor_compaction=false 应该可以缓解

修改之后 感觉效果不是很明显

再加上这个 be.conf rocksdb_cf_options_string=block_based_table_factory={block_cache={capacity=1024M;num_shard_bits=0}}