flink读hive写sr报错 Stream load failed because of error

【详述】通过flink 创建hive catalog 并创建sr外表 insert into sr表 select * hive表
操作报错ERROR com.starrocks.data.load.stream.DefaultStreamLoader:300 - Exception happens when sending data, thread: I/O client dispatch - b36915e5-6e4a-4faf-aa06-eec0e8170a6c
com.starrocks.data.load.stream.exception.StreamLoadFailException: Stream load failed because of error, db: test, table: dwd_user_event_login, label: 52b774b4-f7c1-4406-8320-5dd143f0e8bc,
responseBody: {
“Status”: “TXN_NOT_EXISTS”,
“Message”: “Transaction with label 52b774b4-f7c1-4406-8320-5dd143f0e8bc not exists”
}
errorLog: null
【背景】hive表写入sr需求
【业务影响】 hive表无法写入sr
【StarRocks版本】3.0.4
【集群规模】3fe + 3be
【机器信息】36C/128G/千兆
【联系方式】社区群14伴梦
【附件】
flink报错:


flink建sr表:
be_http_port是改过的就是8041

在Flink日志中搜索"_stream_load"关键字,看下是不是成功发起了stream load任务,然后
排查搜索对应stream load的label,搜索该label的导入返回结果 看看 ErrorURL 看上诉的message label都不存在 您有尝试重试过吗 还是报错label不存在吗?

报错label不存在 查不到这个label

您之前有跑通过 Flink-connector-starrocks 的流程嘛 flink底层调的也是stream laod 这里相当于第一步起任务就已经失败了 如果没打通过的话 可以参考下这个文档再尝试打通下流程 [导入]Flink-connector-starrocks使用指南

以前是可以用的 一直用sql-client的方法 建connector sr表 之后进行insert操作

近期有做过什么变更吗 ,然后您在确认下flink connector是什么版本 可以更换到最新版进行下重试 看是不是还没有label生成? 有没有类似链路的任务还可以运行成功?

flink是1.17.0版本用的connector是flink-connector-starrocks-1.2.7_flink-1.15.jar最近没有变更过 类似的作业是有成功的

我也遇到这个问题了,我看了下源码,这个是bug

麻烦您贴一下是哪块的问题 万分感谢 @U_1659065419803_3267

在com.starrocks.data.load.stream.DefaultStreamLoader这个类


跳转到com.starrocks.data.load.stream.TransactionStreamLoader这个类的doBegin方法开始事务。

然后回到这个类com.starrocks.data.load.stream.DefaultStreamLoader提交事务

可以看到,事务开始和事务提交两次发送请求的be地址不一样,所以会报这个错,String host = getAvailableHost();这行多执行了一次

@yuchen1019

好的 万分感谢 我先看下 确认有问题我提给对应的研发同学 我们下个版本修复下 感谢

load-url 需要填FE的http地址

我现在也遇到这个问题了,sr版本是3.2的,本地doker环境,loadurl是127.0.0.1,导入是没问题的,换成内网环境的ip,就会出现这个问题