stream load 还是看 status 来判断是否导入成功。状态200只能说是http请求成功了。
但是我按照github上的demo写的response里面就没有status:{“allHeaders”:[{“buffer”:{“empty”:false,“full”:false},“elements”:[{“name”:“Fri”,“parameterCount”:0,“parameters”:[]},{“name”:“04 Nov 2022 01:29:30 GMT”,“parameterCount”:0,“parameters”:[]}],“name”:“Date”,“value”:“Fri, 04 Nov 2022 01:29:30 GMT”,“valuePos”:5},{“buffer”:{“empty”:false,“full”:false},“elements”:[{“name”:“412”,“parameterCount”:0,“parameters”:[]}],“name”:“Content-Length”,“value”:“412”,“valuePos”:15},{“buffer”:{“empty”:false,“full”:false},“elements”:[{“name”:“text/html”,“parameterCount”:1,“parameters”:[{“name”:“charset”,",“value”:“ISO-8859-1”}]}],“name”:“Content-Type”,“value”:“text/html; charset=ISO-8859-1”,“valuePos”:13}],“entity”:{“chunked”:false,“contentLength”:412,“contentType”:{"$ref":"$.allHeaders[2]"},“repeatable”:false,“streaming”:true},“locale”:“zh_CN”,“params”:{“names”:[]},“protocolVersion”:{“major”:1,“minor”:1,“protocol”:“HTTP”},“statusLine”:{“protocolVersion”:{"$ref":"$.protocolVersion"},“reasonPhrase”:“OK”,“statusCode”:200}}
目前也没有sql命令能查看stream load的状态信息,还要发一个https请求基于label去获取才行,不过如果是因为version 超过1000而引发的失败 那么重试大概率还是会报错,估计要等一段时间compaction合并完才行
发下你的代码参考链接看看
你这个是datax的写法是把? 我目前参考是https://github.com/StarRocks/demo/blob/master/MiscDemo/stream_load/java/StarRocksStreamLoad.java
是的 我打印错一个了
大佬,想咨询一下 flink 实时写数据到 starrocks ,cpu 利用率低(基本只有一个cpu在工作)有什么参数可以调优吗?
单节点写入的速率是 10万 msg/s
SR be的cpu 还是flink集群的利用率低?
我目前没用flink写,自己写的java服务消费kafka数据。
写入速度慢可以考虑多topic并行消费或者适当增大表buckets数。
如果写入数据过快可以适当调整compaction这些参数:
tc_max_total_thread_cache_bytes
base_compaction_check_interval_seconds
base_compaction_num_threads_per_disk
cumulative_compaction_check_interval_seconds
大佬,我也遇到丢数的问题,版本2.5.10,streamload方式,一分钟会写100次左右(24个线程,每个线程一分钟写4次,每次写1000条左右)