insert into 异常

com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: intolerable failure in opening node channels

库表有15亿数据,每次insert into 1w条左右

哪种insert into的方式?你数据源在哪里?可以根据数据量和数据源评估下选择合适的导入方式,这样导很容易就导致版本过多

我这里,需要对数据进行业务处理,然后才塞进库表里

mysql数据处理后放到文本或kafka,通过stream load或routine load导入StarRocks就ok

每5分钟,使用insert into批量导入1w条数据左右,如果使用kafka会不会在导入starrocks过程花费大量时间,导致等待消费的数据越积越多。使用批量1w条导入也会造成版本过多,那kafka那不也有这个问题,如果增大一批导入量,那准实时性就越差越多