2.5.0 release 配置block cache问题

查询HIVE外表报错:

one instance report fail errorCode INTERNAL_ERROR HdfsOrcScanner::do_open failed. reason = Invalid size for alloc 42297374 :file = hdfs://ns/user/hive/warehouse/ods_dataqualitydb.db/meta_table_column_property/d=2023-01-02/000000_0, params=TReportExecStatusParams(protocol_version:V1, query_id:TUniqueId(hi:-7428469862174092819, lo:-5088979157173697014), backend_num:1, fragment_instance_id:TUniqueId(hi:-7428469862174092819, lo:-5088979157173697013), status:TStatus(status_code:INTERNAL_ERROR, error_msgs:[HdfsOrcScanner::do_open failed. reason = Invalid size for alloc 42297374 :file = hdfs://ns/user/hive/warehouse/ods_dataqualitydb.db/meta_table_column_property/d=2023-01-02/000000_0]), done:true, error_log:[, , , , , , , , , , , , , , , , , , , , , , , ], backend_id:10002)

be.conf 的配置

block_cache_enable=true
block_cache_mem_size=21474836480
block_cache_block_size=104857600
block_cache_meta_path=/opt/app/starrocks-be/block_cache_meta/
block_cache_disk_path=/opt/app/starrocks-be/block_cache
block_cache_disk_size=21474836480

be 报错

我们研发同学正在排查处理,应该是有问题的

block_cache_block_size=104857600

这里数值有限制最大4M(我们下面用facebook cachelib, 超过4M需要使用不同的处理方式)。

我们默认是1M,这个基本上就比较合适了,不用在修改。

@U_1639449735773_7104 我在上面回复了原因。您修改成1M在试试?

恩,1M或者2M都正常了