【详述】基于starrocks作为数据仓库,需要解析血缘关系,但是常用的框架比如altas不支持starrocks
【背景】通过flume读取fe.audit.log,写入kafka,但是数据里面具体的sql应该如何解析呢
【数据示例】
�2023-04-13 17:34:30,265 [query] |Client=172.30.16.26:38092|User=root|AuthorizedUser=‘root’@’%’|ResourceGroup=|Catalog=default_catalog|Db=test_house|State=OK|ErrorCode=|Time=202|ScanBytes=0|ScanRows=0|ReturnRows=0|StmtId=10483|QueryId=63ea74c8-d9de-11ed-a6aa-525400f44133|IsQuery=false|feIp=172.30.16.26|Stmt=insert into dws_ac_person_score_1month_unique SELECT d1.year_month, d1.employee_id, u1.realName employee_name, d1.sum_score, d1.max_grade, d1.max_grade_last, d1.max_ac_score_id, u2.realName ac_score_name from ( SELECT employee_id, year_month, sum(score) sum_score, max(grade) max_grade, max(grade_last) max_grade_last, max(ac_score_id) max_ac_score_id FROM dwd_ac_person_score_detail_unique where employee_id is not null group by employee_id,year_month ) d1 left join dim_users_unique u1 on d1.employee_id = u1.id left join dim_users_unique u2 on d1.max_ac_score_id = u2.id|Digest=
【遇到的问题】
- 在java代码中我可以获取到sql语句,但是通用的解析sql,获取数据来源表和数据目标表,建立血缘关系,需要导入什么依赖;
2.如果sql语句是create建表语句,该如何解析获取元数据;
3.数据开头的�是什么东西?
【StarRocks版本】2.5.2
【集群规模】3fe（1 follower+2observer）+3be（fe与be混部）
【联系方式】392388393@qq.com