使用 Kafka connector 导入Debezium CDC 格式数据时候，解析结果全是null

💬 StarRocks 用户问答
#1

【详述】使用 Kafka connector 导入Debezium CDC 格式数据时，Debezium CDC 数据每一个字段的解析结果都是null
【背景】
【业务影响】
【是否存算分离】存算分离
【StarRocks版本】例如：3.2.2
【集群规模】例如：3fe（1 follower+2observer）+5cn（fe与be混部）
解析结果如下图：

image
image1855×362 13.9 KB

运行日志：
test.log (2.2 MB)
kafka 里 CDC 格式数据如下文件所示：
cdc.json (2.7 KB)
starRocks 建表语句如下文件：
Script-19.sql (3.8 KB)
kafka配置文件如下：
connect-standalone.properties (2.8 KB) connect-starrocks-sink.properties (1.1 KB)

#2

sink的配置不对，还需要配置下Transform
#3

自 使用 Kafka connector 导入Debezium CDC 格式数据时候，解析结果全是null 继续讨论：配置了，刚才帖子里配置文件传错了，已修改

#4

为啥是unique模型，不应该是主键模型吗？虽然这个和解析数据不对没啥关系。

#5

#transforms=addfield,unwrap，这个参数没打开？

#6

自 使用 Kafka connector 导入Debezium CDC 格式数据时候，解析结果全是null 继续讨论：使用主键表，transforms=addfield,unwrap 参数打开都尝试了。解析结果还是null

#7

同样的问题

#8

看了相关源码，我解决了。结论是不支持debezium_record_include_schema=false的时候的导入
配置 debezium_record_include_schema=true
kafka数据格式必须是：
{“schema” : {}, “payload”: { “before” : {}, “after”: {} … } }
这种才支持。官方能不能修改下呢支持debezium_record_include_schema=false

1赞

京ICP备2022026421号-1