【详述】如何知道一条语句执行期间使用的CPU和内存数据
【背景】目前要评估集群的计算资源是否能满足业务高峰期的使用,需要知道一条insert into select xxx 语句在执行期间使用的CU和内存资源数据,请问现在有没有相关的统计数据可以根据任务ID查询到。
【集群版本】2.5.6
【联系方式】社群5-坏孩子
【例如dataworks 的执行日志】
1赞
可以分析fe.audit.log日志文件 2.3版本以后就支持了 会有对应语句的cpu 内存分片占比的指标 或者您可以采用 Audit Loader 管理 StarRocks 中的审计日志 参考: https://docs.starrocks.io/zh-cn/latest/administration/audit_loader
貌似只有 select 的语句才可以查到,这种insert into select 类型的语句能查到相关的CPU和 内存资源占用吗?
可以的 在日志中也会有记录
这是具体的日志文件。
fe.audit.log (28.9 KB)
关键信息如下:
queryID: 98333bf5-1c80-11ee-8b40-fa163e08271d 这个任务就是insert into select 的任务,没有 CpuCostNs 和 MemCostBytes 参数。
queryID: 41f0a168-1c7e-11ee-8b40-fa163e08271d 这个任务是 select 的查询,是有这些参数信息的。
另外 insert into select 这个 profile 的日志中 :
- QueryCpuCost: 0
- QueryMemCost: 0.000
select 语句的任务 profile 则是有数据的
我的 不好意思 我跟对应的研发同学请教了下 insert into select当前还不支持看这种级别的指标 当前还不支持 后面会开发
好的,谢谢,了解了。