spark connector读取sr数据异常

【StarRocks版本】例如:2.2.2
【集群规模】例如:3fe(3follower)+8be(fe与be混部)
【机器信息】CPU虚拟核/内存/网卡,例如:40C/192G/千兆
升级新starrocks2.2.2 后,通过 spark connector 读取数据,时常会抛出异常,
异常信息为: scala.MatchError: 3002 (of class java.lang.Integer) 错误。
但有时会读取成功,但有会出现一个奇怪的现象:用 val df = spark.read…load();df.show()
显示数据时,字段会错位展现,但在使用过程中字段对应是正常的。
因此我们猜想是不是读取时字段随机错位造成的schame匹配错误,从而抛出异常。
我们用的spark connector包为:starrocks-spark2_2.11-1.0.0.jar; spark版本为2.3。

PS: 连接老SR集群从未出现过这个异常信息。show方法显示数据也正常。

目前spark 的connector可能和新版本的sr未做过适配,可以去对应的connector下面提一个feature优化一下

我刚刚看到相同问题的issue : https://github.com/StarRocks/starrocks/issues/8324,请问修复代码是否已经提交上去?是否有对应的jar包下载,还是说需要自己下载源码打包?

新版本已经修复了

你指的新版本是starrocks版本吗?不是spark-connector的版本?

是的,starrocsk 的版本。目前最新的版本修复了这个问题

我看昨天刚发布了2.2.4,但是之前发布了更高的2.3.0版本,这2个都修复了吗?还是只是2.2.4修复了,2.3.0还没有修复呢?如果我要升级sr来规避这个问题,选择哪个版本?另外,我看spark-connector已经可以write了,这个已经可用了吗?

看起来这几个打了补丁

我的2.2.2是一个月之前(7.6号)安装的,是不是只能升级到新版本,还是说可以在当前版本打这个补丁?

可以的话,可以等2.X也就是2.4版本,或者您自己把这个补丁打到对应的版本源码里,自己编译下

好的,了解了,感谢!

您好,我看昨天发布了2.3.1的版本,这个bug是否在这个版本里修复了呢?

近期我们内部在测试新的connector的读写问题,近期会发布

好的,静候佳音。。。。