【详述】
该场景是TiDB用TiCDC采集数据到Kafka,kafka通过StarrocksKafkaConnector同步数据到Starrocks时在kafka到Starrocks环节出现的问题,核心在于Debezium的日期格式(io.debezium.time.Date:INT32)与Kafka Connect的TimestampConverter转换器不兼容,导致任务失败。该如何解决?
Kafkaconnector的json配置:
“transforms.tsFormat3.type”: “org.apache.kafka.connect.transforms.TimestampConverter$Value”, “transforms.tsFormat3.target.type”: “string”,
“transforms.tsFormat3.field”: “business_date”,
“transforms.tsFormat3.format”: “yyyy-MM-dd”
主要报错:
Schema{io.debezium.time.Date:INT32} does not correspond to a known timestamp type format\n\tat org.apache.kafka.connect.transforms.TimestampConverter.timestampTypeFromSchema(TimestampConverter.java:469)\n\tat
【是否存算分离】为存算分离架构
【StarRocks版本】3.2.15
【集群规模】例如:3fe(1 follower+2observer)+3be(fe与be混部)
【表模型】主键模型