【详述】flink通过cdc yaml方式,将mysql中数据同步到StarRocks时,job创建成功,但是数据不会马上同步到StarRocks,需要等待6-7分钟后才会完成数据同步。更改Mysql数据时,也不会实时同步修改StarRocks中的数据。
【是否存算分离】存算一体
【StarRocks版本】3.3.7,flink版本1.20,flink-cdc-3.2.1,Mysql8.0
【集群规模】1fe+1be
【机器信息】8C32G
【联系方式】帖子回复
【配置文件】
source:
type: mysql
name: MySQL dev
hostname: 192.168.1.111
port: 3306
username: root
password: 123123
tables: db_table..*
server-id: 5400-15404
server-time-zone: UTC+8
sink:
type: starrocks
name: StarRocks dev
jdbc-url: jdbc:mysql://192.168.1.111:9030
load-url: 192.168.1.111:8030
username: root
password: 123123
sink.properties.strict_mode: true
table.create.properties.fast_schema_evolution: true
table.create.properties.light_schema_change: true
table.create.properties.replication_num: 1
pipeline:
name: MySQL to StarRocks Pipeline
parallelism: 2