【详述】目前有两套集群,老集群版本2.5.21 ,新集群3.1.12 通过streaming load 方式导入至主键模型,集群表基本上为主键模型,部分为hive 外部表,新集群表多三分之一,但是数据量都差不多,新集群磁盘写入比老集群高了几十倍
【是否存算分离】存算一体
【connector版本】flink-connector 1.2 或者spark-connector 1.2
【集群规模】新老集群都为 3FE 3BE ,老集群为32核128G,新集群64核256G,老集群磁盘挂载了6块盘,新集群挂载了4块盘,但是性能更优,配置更好
【附件】老集群磁盘写入:
新集群磁盘写入: