为了更快的定位您的问题,请提供以下信息,谢谢
【详述】原始日志数据量50亿/月,按照每天做分片处理,整个流程通过kafka+sr,不要flink,也不要数据湖paimon,hadoop等数据链路,这样做行不行?行的话,集群规模怎么样配置?
【背景】需要对数据近分钟级别15min,小时,日,天展示列表及日志级别告警聚合
这个咱们这边 分区是怎么划分的?
按照天分区,资源不上问题。主要是过滤数据插入会不会报SR OOM
兄弟,我希望你们给方案。这样干行不行。不想再搞什么Hoodop flink 乱七八糟东西。都AI时代了。
洒洒水,我们业务一张表一天就几个亿
嗯,那可以。请问数据怎么进入starrocks,直接kafka可以吗?
Routine Load+kafka 一天导入几亿数据,这样干可以吗