sql查询hive表数据时提示:unknown compression type(11):file

【详述】sql查询hive表数据时提示:unknown compression type(11):file
【背景】starrocks中同步hive外部表,表创建成功,但是selec * from 表 就不行
【业务影响】无法执行查询等操作
【StarRocks版本】2.4
【集群规模】3fe(2follower+1observer)+3be(fe与be混部)
【机器信息】CPU虚拟核/内存/网卡,2C/2G/百兆
【附件】

  • 慢查询:
    • Profile信息
    • 并行度:show variables like ‘%parallel_fragment_exec_instance_num%’;
    • pipeline是否开启:未开启
  • 查询报错:
    • [42000][1064] unknown compression type(11):file = hdfs://hadoop101:8020/warehouse01/gmall/dwd/dwd_start_log/dt=2022-11-02/000000_0
  • be crash

be crash那个你dmesg -T看看有没有OOM的信息,同步hive是什么意思?你使用的是哪个功能?hive外表?

对的hive外表和外部数据源查询这两种方式都会提示一个"未知的压缩格式这个错误"

是查询所有hive中的表都会遇到这个问题吗?还是个例?hive里的数据是怎么导进去的?发个查询有问题的hive侧的表看看?

hive是lzo压缩+parquet列式存储格式,除了ads层可以直接查询到(因为ads没有使用lzo),别的都无法查询提示:unknown compression type(11):file ,或者未知的压缩格式