flink-connector连接器问题

和我一模一样的获取数据方式,我一张表200多个字段,改一个字段,里面的都得改,还要一个个核对顺序,难受死我了,我的版本我用过2.1.8,用过1.9,都有这个问题

我现在的问题是无法正常读取,be状态没问题,我这里应该不是并行度的原因

  1. read timeout可能和集群的be状态有关
    2.查看flink--taskexecutor-.log或flink--taskexecutor-.out有无其他关于应用报错的日志信息
    3.增大taskmanger内存,很多时候可能是内存不够,频繁gc导致应用挂掉

我目前读取sr几亿条数据没有出现问题,希望上面的建议对你有帮助。

能否给一下你这个场景下flink taskmanger集群所给的内存,和读取数据量的大小?我尝试下用你这个比值去调一下,只是条数不太具有参考价值

taskmanager.numberOfTaskSlots: 10
parallelism.default: 10
taskmanager.memory.process.size: 107280m ##因为机器内存比较大,所以这个给的比较大
jobmanager.memory.process.size: 16000m

条数从7000万~4亿条都有。

我standalone模式,单个机器上跑。

这4亿条数据,占多少磁盘?是大宽表还是小表?这个是重点,我这边50w的大宽表20个g,2亿的小表只有10g不到的数据

60多个字段,500G左右。

牛,数据和内存要1:2的比例了才行,你这个集群上没有其他服务吗,这flink不都吃完了,如果计算逻辑复杂的话,cpu也完了

没有其他服务,专门给flink使用。