【详述】用户去重标签表适合哪种数据模型?
【背景】我司有个标签日志,实时打入kafka里,大概20M/S。
我想根据用户id,做一个标签表,需要实时去重。
一天大概5000万的用户id更新,日志量一天有1亿左右。
这种用户id、标签表,我适合用主键模型还是更新模型?
后面任务调度,还会再挂一个bitmap表,用来根据标签,圈选人群包,会用的是聚合模型
【业务影响】
【StarRocks版本】2.3
【集群规模】3fe(1 follower+2observer)+4be(fe与be混部)
【机器信息】fe 16cpu/32G内存 be 40cpu/176G内存 存储够用
【联系方式】dyuan_vip@126.com