insert into executemany 模式批量导入亿级别数据 内存溢出 导入报错:

为了更快的定位您的问题,请提供以下信息,谢谢
【详述】insert into executemany 模式批量导入亿级别数据 执行2小时后内存溢出 导入报错
【背景】通过python 启用4个进程同时批量导入亿级别数据 每次导入1万条记录,开始占用内存16G,内存占用不断增加,直到占满
【业务影响】无
【StarRocks版本】例如:3.1.0
【集群规模】例如:docker部署
【机器信息】CPU虚拟核/内存/网卡,例如:20C/40G/千兆
【表模型】例如:主键模型
【导入或者导出方式】例如:Insert into executemany
【联系方式】1426344958@qq.com
【附件】

  • fe.log/be.INFO/相应截图
  • 完整的报错异常栈
    INSERT INTO company_basic_info (company_id,name,old_name,credit_no,reg_no,org_no,legal_person_name,reg_capital,reg_capital_currency,currency_code,reg_status,reg_status_code,setup_date,from_date,to_date,cancel_date,rev_date,approved_time,type,type_code,business_itme,business_scope,reg_authority,reg_admin_no,last_annual_check_year,living_address,province_name,province_code,city_name,city_code,county_name,county_code,post_code,industry_name,industry_code,industry_national_name,industry_national_code,latitude,longitude,is_ent,batch_no,create_time,update_time,del_flag,canreason,revreason,form,partition_id) VALUES (%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s) 时出错: 1064 (HY000): Primary-key index exceeds the limit. tablet_id: 12442, consumption: 20451003730, limit: 20437933768. Memory stats of top five tablets: 13348(144M)13007(144M)12892(144M)13225(144M)13184(144M): be:127.0.0.1

扩容内存 :rofl: