3.0.5 jdbc 外表拉数据太多oom

为了更快的定位您的问题,请提供以下信息,谢谢
【详述】问题详细描述
尝试通过jdbc 外表导数据到SR,执行 insert into xxx_table from external_xxx_table;
语句报如下错误

请问BE有什么参数可以调整 jdbc scanner 的内存吗

W1110 13:42:42.464920 14238 pipeline_driver.cpp:285] pull_chunk returns not ok status Internal error: open JDBCScanner failed, error: java.lang.OutOfMemoryError: Java heap space[]
/build/starrocks/be/src/exec/jdbc_scanner.cpp:51 _init_jdbc_scanner()
/build/starrocks/be/src/connector/jdbc_connector.cpp:150 _scanner->open(state)
/build/starrocks/be/src/connector/jdbc_connector.cpp:84 _create_scanner(state)
/build/starrocks/be/src/exec/pipeline/scan/connector_scan_operator.cpp:509 _data_source->open(state)
/build/starrocks/be/src/exec/pipeline/scan/scan_operator.cpp:224 _get_scan_status()
W1110 13:42:42.465011 14238 pipeline_driver_executor.cpp:152] [Driver] Process error, query_id=cde511cb-7f8a-11ee-b267-52540022b4de, instance_id=cde511cb-7f8a-11ee-b267-52540022b4df, status=Internal error: o
pen JDBCScanner failed, error: java.lang.OutOfMemoryError: Java heap space[]
/build/starrocks/be/src/exec/jdbc_scanner.cpp:51 _init_jdbc_scanner()
/build/starrocks/be/src/connector/jdbc_connector.cpp:150 _scanner->open(state)
/build/starrocks/be/src/connector/jdbc_connector.cpp:84 _create_scanner(state)
/build/starrocks/be/src/exec/pipeline/scan/connector_scan_operator.cpp:509 _data_source->open(state)
/build/starrocks/be/src/exec/pipeline/scan/scan_operator.cpp:224 _get_scan_status()

【背景】做过哪些操作?
【业务影响】
【StarRocks版本】例如:3.0.5
【集群规模】例如:3fe(3 follower)+8be
【机器信息】CPU虚拟核/内存/网卡,例如:FE (16C 64G) BE (32C 128G)
【联系方式】社区3群-杨荣

用的是什么驱动?

https://repo1.maven.org/maven2/org/postgresql/postgresql/42.3.3/postgresql-42.3.3.jar
pg 的driver


升级到3.0.6+

好的,感谢,我升级后再验证下

有点尴尬,发现3.0.6 有个group_concat 的行为变更,还不能直接升级 :sweat_smile:

暂时分批的拉数据来规避这个问题,后面让业务同事兼容下group_concat的变更再升级看看