【详述】 3.4.0发布了Arrow Flight 接口功能,可更高效读取大数据量的查询结果,没有看到相关使用说明文档,有大佬可以说明一下吗
【StarRocks版本】3.4.0
同问,FE/CN 节点均设置了 arrow_flight_port 端口(9xxx),访问不通,报错
File "pyarrow/_flight.pyx", line 1603, in pyarrow._flight.FlightClient.get_flight_info File "pyarrow/_flight.pyx", line 68, in pyarrow._flight.check_flight_status pyarrow._flight.FlightUnavailableError: Flight returned unavailable error, with message: failed to connect to all addresses; last error: UNKNOWN: tcp handshaker shutdown
你好,请问这个文档和 demo 什么时候上线,因为看到代码库已经有这个功能了
你看见的这个代码是社区同学贡献的,目前我们跑起来有点问题不太可用,所以正式上线要在下一个版本 3.4.2。
1赞
大量数据查询可以用 INSERT INTO FILES 语句输出到parquet文件,然后用ftp下到本地解析,曲线救国,主流语言都支持parquet格式。标准数据库驱动有大量的耗时在序列化上,而且压缩效率不高,传parquet速度很快