如果我的场景不需要支持事务,请问我是否可以通过关闭事务来提升写性能?如果可以,请问StarRocks是否提供了事务关闭配置
写入任务都会创建事务提交,这个是无法关闭的。flink-connector 支持 stream load事务和非事务接口,但事务和非事务模式不会有太大差别。导入数据导主键模型的话exactly-once和at-least-once结果一样
那请问有没有别的办法可以提升写速度?我正在与clickhouse做一个技术选型对比,clickhouse好像可以做到快不少。如果不能,想请问starrocks写性能阻塞点在哪里?期待您的答复,谢谢!
顺便想请问一下您?为什么事务和非事务模式对写性能不会有太大差别?我理解事务会导致对别的线程的阻塞,因为commit是按照顺序执行的。
ck是有自己的客户端,在客户端做了攒批和处理,sr当前还是需要客户攒批写入。
1.最新版本sr建表properties添加"replicate_storage"=“true”,写入速度可以提升一倍。
2.尽量客户端攒批写入,比如一个批次1g这样子。可以降低磁盘压力。
3.尽量创建分区表,每次导入只涉及打开对应分区的tablet元数据,内存压力会比较小。
最终的瓶颈会在磁盘和内存上。
另外可以参考 2/22 19:00 直播 | StarRocks 实战系列 Ep.2—导入优化&问题排查(转发、打卡还可以获得积分奖品!) ,有一些调优的思路。
2赞
然后我们在对比中发现了一个特点,就是并发数上不去,例如CH可以支持8连接,而SR只能支持4连接,请问这个是什么因素影响的?