获取Profile,通过Profile分析查询瓶颈

  • 通过explain sql命令可以查看查询计划。
  • 通过会话设置 set is_report_success = true / 2.5及以后的版本命令为set enable_profile =true 可以打开profile的上报。
    在论坛上上传profile时请将profile复制到文本文件中,将文本文件作为附件上传。
  • 社区版用户在 http://MASTER_FE_IP:FE_HTTP_PORT/query 可以看到当前的查询和Profile信息
  • 企业版用户在StarRocksManager的查询页面可以看到图形化的Profille展示,点击查询链接可以在“执行时间“页面看到树状展示,可以在“执行详情“页面看到完整的Profile详细信息。如果达不到预期可以发送执行详情页面的文本到社区或者技术支持的群里寻求帮助
  • Plan和Profile参考查询分析性能优化章节
1赞
漏斗计算left join 太慢
insert into select 非常慢
StarRocks查询性能优化--Runtime Filter
物化视图求uv慢
order by 查询慢
单表千万查询性能低
字符串主键模型count(distinct key)很慢
join与union联合使用问题
BE频繁DEAD
starrocks be 频繁宕机
数组类型字段,查询函数arrays_overlap、array_length +array_intersect组合有性能问题
union all 多段sql,这些sql是并行执行的吗?
com.starrocks.journal.JournalInconsistentException: failed to load journal type 118
执行UPDATE表导致CN节点异常退出
create tablet empty store limit in request. 创建表失败
异步物化视图未命中
be异常下线
Caused by: java.sql.SQLTransientConnectionException: (conn=1034456) Unsupported command(COM_STMT_CLOSE)
flink任务通过lookup join starrocks的表,填充维度。没有进行谓词下推,报内存不足错误
【救命】3.0.0-48f4d81 be频繁重启
报表查询Read timed out
[Coordinator.deliverExecBatchFragmentsRequests():1262] exec plan fragment failed, errmsg=exec rpc error. backend id: 10008, code: THRIFT_RPC_ERROR, fragmentId=F20, backend=***** 。 connections is not available,request timeout after 3000ms
StarRocks访问HMS Kerberos 认证失败
物化视图刷新报空指针异常
3.0.6 AuditLoader 导入失败
StreamLoad导入数据报错 column为关键字
starrocks查询比clickhouse慢
SR3.0.3创建物化视图使用语法OR replace报错
3.3.0-rc01-3b8cb0c 查询paimon缓慢问题,hive比paimon快,唯一区别paimon表zstd,hive表snappy
异步物化视图导致BE内存消耗大
分页查询首页很慢
be多目录存储有大量旧版本数据未删除
jdbc 的ssl认证怎么配置
导入任务一直失败/超时
mysql导入starRocks数据类型乱码报错怎么回事哦
3.1.1升至3.1.4,bitmap_from_string(group_concat(concat(user_id), ','))人数错误
JDBC catalog 无法读取 嵌套视图
StarRocks Stream Load 导入失败
2.5.16查询hive外部表不支持OBS
profile文件中CachedPagesNum什么意思呢
刷新异步物化视图进度一直卡在96%,正常情况很快就会刷新完
Java UDF
swap替换底层异步物化视图后依赖底层化异步物化视图的异步视图刷新异常
查询没有过bloom filter索引
get extra file size in primary table fail, tablet_id
jdbc执行union all的sql报错有多个结果集
SHOW ROUTINE LOAD执行超时
使用FE + CN组合后,2000万的单表聚合查询花了25秒
使用FE + CN组合后,2000万的单表聚合查询花了25秒
【FE】升级2.5.21后fe启动失败
Memory limit exceeded: Memory of query_pool exceed limit. read and decompress page Used: 100196201872, Limit: 100192997079. Mem usage has exceed the limit of query pool
enable_async_write_back is disabled since version 3.1.4
2.5.19FE 连接close fail
某个be节点停机维护,停机维护时长受什么参数影响,原理过程是什么
【2.5.11版本】磁盘IO占用一直保持在50%-60%
物化视图改写失败
物化视图改写有时候会报错ERROR 1064(HY000)Invalid plan
be节点频繁宕机
多表重复join查询多维度列查询慢
export数据到oss报错
窗口函数结果不正确 sum(b) over(order by a rows between 1 following and 1 following)
节点副本退役
ubuntu24.04编译starrocks3.3.0
执行 一段sql 后 be crash
单副本表最近偶尔有查询异常,多副本也存在查询报 Build Exec OlapScanNode fail, scan info
存储分离存储卷设置错误,导致创建的库表在被删除之后,还是在尝试创建文件
cn节点内存超用,怀疑内存泄漏,无法追踪内存使用
【磁盘使用率异常,锯齿状】到80% 然后下降
failed tablet version
CI流水线中BE宕机
StarRocks存算分离分组的一个BUG
慢查询的执行计划在详细信息里面看不到原因
存算分离添加字段卡死,最终1天后超时
【查询出现毛刺】正常查询发现不定时出现耗时较长毛刺现象
使用prepare查询,结果不对
统计信息获取时报错, 导致sql无法执行
sql执行时删除资源组be会crash
Starrocks2.1升级到3.2注意事项
starRocks分词器替换
be crash, 多列动态过滤导致三个be全挂了, 报错显示vector::_M_default_append large memory alloc
3.2.11 be crash, json解析内存消耗过大导致内存溢出, be的 memTracker显示内存只有10G
task_runs 开启归档后怎么清理?
集群升级后fe节点频繁崩溃
官方集群迁移工具,表ddl信息同步成功,但是某些表的数据没有迁移过去
相同表结构和数据3.1存储占用比3.0大两倍
执行sql报错: no writable spill storage directories, 实际spill磁盘空间还剩余200G左右
3.1.11 执行stream load时be崩溃
查询数据union all报错, no delete vector found tablet:757407 segment:0 version:2'
odps catalog执行sql报错: Index 0 out of length 0
starrocks 2.5.20 be crash
cannot find task.type:PUBLISH_VERSION,backendId
删除分区后有很多tablet未正常清理掉
hive_catalog查询的优化器耗时比较久
StarRocks版本从3.1.6升级到3.1.16查询性能变慢了
starrocks be load 内存泄漏
升级3.3.7后 cpu打满
user表在哪存着呢,怎么找不到表的信息
使用备份恢复功能时, auto_incerment的自增主键进度没有备份, 导致恢复数据时, 新写入数据覆盖旧数据
Starrocks 查询 3.1.15版本与最新版3.3.9性能对比
目前相对稳定可以用于生产环境的版本都有哪些
or 谓词和in谓词会导致join reorder失效, 生成非常差的执行计划, 广播了大表
be主键表查询并发(锁)问题咨询
data cache盘写满了 导致be启动不起来
大表join内存溢出
FE 节点频繁OOM
运行两天后be无法启动
谁能帮看下这个SQL为什么查不出数据
drop udf 报错
【BE】大数据量分页查询出现OOM
请问starrocks存储数据使用压缩了么?使用的什么压缩?可以更改么?
最简单的DML,为什么这么慢的查询
left join查询很慢
flink 1.14.5。写入sr 2.4.4版本 突然报超时
2.4.3 数据join异常
starrocks limit 出现bug
从 MySQL 实时同步-Flink写入StarRocks时报错
starrocks从2.4.3升级到2.4.5后,be资源使用增加
BE进程宕掉了,be.WARNING日志报错 Thread pool failed to create thread: Runtime error: Could not create thread: Resource temporarily

当没有浏览器时可以通过以下方式获取profile: curl --location-trusted -u username:password “http://MASTER_FE_IP:FE_HTTP_PORT/query_profile?query_id=当前查询query id” > profile.txt 其中query id 可以通过grep “QueryId” fe.audit.log | grep “查询sql” 进行确认

查询mysql外表超时 大佬帮忙看看

看时间主要花在 IOTaskExecTime 这上面? 可是磁盘是SSD的