【StarRocks版本】例如:2.2.2
【集群规模】例如:3fe(3follower)+8be(fe与be混部)
【机器信息】CPU虚拟核/内存/网卡,例如:40C/192G/千兆
升级新starrocks2.2.2 后,通过 spark connector 读取数据,时常会抛出异常,
异常信息为: scala.MatchError: 3002 (of class java.lang.Integer) 错误。
但有时会读取成功,但有会出现一个奇怪的现象:用 val df = spark.read…load();df.show()
显示数据时,字段会错位展现,但在使用过程中字段对应是正常的。
因此我们猜想是不是读取时字段随机错位造成的schame匹配错误,从而抛出异常。
我们用的spark connector包为:starrocks-spark2_2.11-1.0.0.jar; spark版本为2.3。
PS: 连接老SR集群从未出现过这个异常信息。show方法显示数据也正常。