1.想问问大佬们,你们有创建多少个rountine load任务
rountine load任务可以无限制创建吗 大概什么配置适合多少个
(我说一下我当前已经上生产的情况)
我们已经接入两套数据 每套数据所有的日志单独存了一张表目前单表有6亿数据
我使用java消费kafka然后streamload方式导入的 控制了单表导入间隔10-15s 表现还可以
(为什么不使用其他方式 比如rountineload)
是因为有一些ETL的需求,并且组内同事以及领导觉得rountineload任务
对于导入进度的控制
以及出现问题的处理工作 不如streamload好控制
2.同样的streamload任务也有同样的疑问
我现在新接一个套数据要600张往上的表 (现在还在测试阶段)
当前使用的是streamload的方式 kafka -> 本地文件 -> starrocks
600张表就要在一定时间内600个streamload任务
3.数据库内部ETL
insert into select任务的个数
问题是每新接一套数据就会增加至少几百张(600)表 这些数据还是同类型的数据 是有联查需求的
有兴趣的朋友以及已经有一些实践经验的朋友 希望能聊一聊