StarRocks使用FAQ

StarRocks-FAQ

StarRocks 目前不支持数据模型转换,明细模型,更新模型之间无法进行转换,可以在明细模型,聚合模型表上创建物化视图

flink connector 的精确一次性

问题描述:

flink connector 的精确一致性如何保证

解决方案:

通过 flink connector 的 checkpoint 和 starrocks 的导入标识(label)共同保证。同一 label 只能导入一次。flink connector 在 at least once 语义下如果设置重试次数为 5 次,如果写入失败,后面重试的 label 和第一次也是保持一致。

查询 hive 外表 be crash

问题描述:

hive 外表建完后,读取数据时,be 直接挂掉

解决方案:

查询 hive 外表 be crash,可以先手动下载 https://repo1.maven.org/maven2/commons-lang/commons-lang/2.6/commons-lang-2.6.jar 放到 be/lib/hadoop/hdfs 下,然后重启 be 解决

Failed to find enough host in all backends

解决方案:

请确认一下两点:1.${storage_path} : storage_path 数据存储路径需要配置。2. 如果是双网卡, show frontends 看不是一个网段, 要配置 priority_network。然后删掉 fe/meta be/storage 重新搭建。

从 kafka routine load 读数据写 starrocks 报错

问题描述:
Failed to commit txn 47777. Tablet [11809] success replica num 0 is less then quorum replica num 2 while error backends 10002,10003,10004 "

解决方案:
导入频率过高, compaction 赶不上 ,可适当降低导入频率。集群资源足够可以 compaction 参数。

flink-cdc 导入数据失败

问题描述:

导入数据报错:The connection property ‘zeroDateTimeBehavior’ only accepts values of the form :‘exception’,‘round’, or ‘convertToNull’

解决方案:

mysql 与 connector 的版本兼容导致,请参考该贴:flink-cdc2.1.0版本 导入数据报错“ The connection property 'zeroDateTimeBehavior' only accepts values of the form: 'exception', 'round' or 'convertToNull'. The value 'CONVERT_TO_NULL' is not in this set”

通过 java 编写 stream load 请求导入数据报错

问题描述:

报错详情:Caused by: org.apache.http.ProtocolException: The server failed to respond with a valid HTTP response

解决方案:

stream load 导入端口是 http_port,检查 ip 和端口。

flink-cdc 的导数 oracle 数据过程出现异常

问题描述:

invalid memory adress or nil pointer derference

解决方案:

oracle 中的配置文件中的端口应为 1521。1521 为 oracle 默认监听端口。

bdbje 设置 bdbje lock timeout 的时间是 10s, 但报 com.sleepycat.je.LockTimeoutException

解决方案:

grep -i full log/fe.gc* 检查 fe 是否发生 full gc,如果发生 full gc 可以调整 fe.conf 中 jvm 内存大小。

有没有什么命令是查每个表的数据量大小

解决方案:

show data; 命令可以查看。补充:数据库里面建了很多表分配了很多 tablet, 但是没有存数据,这些 tablet 会创建相应的目录,并且会有元数据在,元数据会占用资源的,越多的 tablet 会有越多的元数据。

建表报错 “ErrorReason{errCode = 103, msg =‘failed to begin txn for task : Database [default_cluster: ods] data size exceeds quota [2.000 TB]’}”

解决方案:

要设置配额:执行 SQL 修改 ALTER DATABASE xxx SET DATA QUOTA 24576GB; 默认给库的磁盘容量是多少, 默认是上限 2^63 ,不进行限制。

routine load 消费 kafka 的数据报错:Reason: Failed to parse string to json. code = 3, error = Invalid value… src line: [null]

解决方案:

该错误产生请先排查数据质量及分隔符没有问题。

fail to get master from cache

fe 多 ip, 需要在 fe 的 conf 中增加 priority_networks。检查 be 是否发生 OOM。检查 fe 和 be 之间的网络和端口是否打通。