Arrow Flight 接口如何使用

【详述】 3.4.0发布了Arrow Flight 接口功能,可更高效读取大数据量的查询结果,没有看到相关使用说明文档,有大佬可以说明一下吗
【StarRocks版本】3.4.0

同问,FE/CN 节点均设置了 arrow_flight_port 端口(9xxx),访问不通,报错

 File "pyarrow/_flight.pyx", line 1603, in pyarrow._flight.FlightClient.get_flight_info
 File "pyarrow/_flight.pyx", line 68, in pyarrow._flight.check_flight_status
 pyarrow._flight.FlightUnavailableError: Flight returned unavailable error, with message: failed to 
 connect to all addresses; last error: UNKNOWN: tcp handshaker shutdown

@acca @xlrei 这个问题我这里回一下,咱们 Arrow Flight 还木有上线,推到了 3.4.2 才会有,到时候社区会搞个文档和 demo 出来 ~

1赞

你好,请问这个文档和 demo 什么时候上线,因为看到代码库已经有这个功能了

你看见的这个代码是社区同学贡献的,目前我们跑起来有点问题不太可用,所以正式上线要在下一个版本 3.4.2。

1赞

大量数据查询可以用 INSERT INTO FILES 语句输出到parquet文件,然后用ftp下到本地解析,曲线救国,主流语言都支持parquet格式。标准数据库驱动有大量的耗时在序列化上,而且压缩效率不高,传parquet速度很快