【详述】通过spark load导入csv文件到starrocks表中，
LOAD LABEL label111302 ( DATA INFILE(“hdfs://grampus/tmp/customer.csv”)
INTO TABLE customer COLUMNS TERMINATED BY “|”
(c_custkey,c_name,c_address,c_city,c_nation,c_region,c_phone,c_mktsegment) )
WITH RESOURCE ‘spark0’ (
“spark.executor.memory” = “2g”,
“spark.shuffle.compress” = “true”
)
PROPERTIES ( “timeout” = “3600” );
报错显示ErrorMsg: type:ETL_SUBMIT_FAIL; msg:start spark app failed. error: Waiting too much time to get appId from handle. spark app state: UNKNOWN, loadJobId:334017
GET_APPID_TIMEOUT_MS 代码里设置的是5分钟
// 5min
private static final long GET_APPID_TIMEOUT_MS = 300000L;
【导入/导出方式】spark load
【背景】做过哪些操作？
【业务影响】
【StarRocks版本】2.1.3
spark ：2.4.6
hadoop：3.1.1
【集群规模】3fe（3 follower）+3be（fe与be混部）
【机器信息】CPU虚拟核/内存/网卡，例如：48C/64G/万兆
【附件】
- fe.warn.log/be.warn.log/相应截图
fe.log
