hivecatalog查询hive数据，元数据未更新，且BE全部崩了。

智数部架构 · 2022年12月2日 07:40

【详述】根据官网创建了hive_catalog方式去查询hive数据,然后发现，经常BE服务全部宕掉了.查看日志发现。

然后上面报错是找不到对应的数据文件地址，目测是元数据没更新。
我在FE的配置文件里新增了参数。
hive_meta_cache_refresh_interval_s = 60
依然不行。经常是BE报错。
这个是什么原因呀？难道是查询失败线程太多导致的？
关键字:_init_scanner
【背景】通过hive_catalog去查询hive
【业务影响】
【StarRocks版本】
select current_version();
2.3.3 164799c
【集群规模】例如：3fe（1 follower+2observer）+4be（fe与be混部）
【机器信息】
【附件】

LIANGCHAOHUA · 2022年12月2日 04:15

收到，我们确认一下。

dirtysalt · 2022年12月26日 03:45

这个问题在2.3.4修复了，通常是因为FE下发的plan不全导致的。这个在2.3.4做了防御性检查，确保不会出现crash

github.com

StarRocks/starrocks/blob/branch-2.3/be/src/connector/hive_connector.cpp#L220


        _runtime_profile->add_info_string("PredicatesPartition", hdfs_scan_node.partition_sql_predicates);
    }
}

Status HiveDataSource::_init_scanner(RuntimeState* state) {
    const auto& scan_range = _scan_range;
    COUNTER_UPDATE(_profile.scan_files_counter, 1);
    std::string native_file_path = scan_range.full_path;
    if (_lake_table != nullptr && _lake_table->has_partition()) {
        auto* partition_desc = _lake_table->get_partition(scan_range.partition_id);
        if (partition_desc == nullptr) {
            return Status::InternalError(fmt::format(
                    "Plan inconsistency. scan_range.partition_id = {} not found in partition description map",
                    scan_range.partition_id));
        }
        SCOPED_TIMER(_profile.open_file_timer);

        std::filesystem::path file_path(partition_desc->location());
        file_path /= scan_range.relative_path;
        native_file_path = file_path.native();
    }

智数部架构 · 2022年12月2日 07:38

十分感谢回复。我升级一下试试。

智数部架构 · 2022年12月26日 03:45

已经升级到了2.3.5了。但是依然出现了这个问题。看来并没有解决。

trueeyu · 2022年12月28日 07:29

2.3.7上才会有这个修复，不好意思，我们说错了

dirtysalt · 2022年12月28日 07:35

你们可以gdb看看coredump的位置吗？

gdb -c core.xxx starrocks_be

然后 f 0 看看具体出错的信息是什么。从 SIGSEGV(0x0) 来看像是空指针的问题。