flink-connector连接器问题

【详述】问题详细描述
【导入/导出方式】
用flink-connector从sr拉取数据到flink计算后拉取数据到ES,遇到了这个报错,不懂是什么原因,版本是2.1.8,有大佬吗,极求!

然后报错之后我再连接提示连接超时,但是集群看了是正常的

是不是可以在中间步骤输出一下看看是source端出了问题还是sink端出了问题呀

输出没有问题的,我是正常写入了一万多条之后才报错的

这个看起来也不是flink-connector的问题呀,是不是跟ES或者flink的开发者沟通下呢?

不是的,感觉像是sr读取出错了,我又运行了一次,这一次八分钟的时候才出错

:joy:不是说输出没有问题么?

是啊,我50w数据,中间输出没问题,到后面会突然挂掉,但是不知道什么时候会挂,有时候长,有时候短

可以看下你的 jdbc-url 还有 load-url么?

好的好的,di yi ge第一个是获取字段,后面是通过下标去获取数据,顺便问问有没有办法通过字段名去get呢,这样通过下标变一个就全部都要变


而且我发现,如果执行的时候不去动sr集群,比如执行sql什么的,好像就问题不大

咱们有没有监控呀,辛苦看下是不是资源使用太多了呢?

没有监控,资源不够吗?会导致这个问题?之前报了oom,我调低并行度可以了?还是cpu利用率太高了?

咱们是exactiy once语义么?

批处理,没有设置这个

代码没有设置ck哈

一样的问题,flink读sr,读着读着就报错,读了几千条就报错了



监控里一切正常

你也是通过下标去获取字段的吗?能看看你map里面的代码是怎么写的吗


我的版本是2.3.0,之前没升版本的时候是正常的没报过错

和我一模一样的获取数据方式,我一张表200多个字段,改一个字段,里面的都得改,还要一个个核对顺序,难受死我了,我的版本我用过2.1.8,用过1.9,都有这个问题。

建议你看看be的情况,目前我找到的原因是读取太快,开的并行度多了,会把be读挂掉,你调低并行度,可能会好