StarRocks-FAQ
StarRocks 目前不支持数据模型转换,明细模型,更新模型之间无法进行转换,可以在明细模型,聚合模型表上创建物化视图
flink connector 的精确一次性
问题描述:
flink connector 的精确一致性如何保证
解决方案:
通过 flink connector 的 checkpoint 和 starrocks 的导入标识(label)共同保证。同一 label 只能导入一次。flink connector 在 at least once 语义下如果设置重试次数为 5 次,如果写入失败,后面重试的 label 和第一次也是保持一致。
查询 hive 外表 be crash
问题描述:
hive 外表建完后,读取数据时,be 直接挂掉
解决方案:
查询 hive 外表 be crash,可以先手动下载 https://repo1.maven.org/maven2/commons-lang/commons-lang/2.6/commons-lang-2.6.jar 放到 be/lib/hadoop/hdfs
下,然后重启 be 解决
Failed to find enough host in all backends
解决方案:
请确认一下两点:1.${storage_path} : storage_path 数据存储路径需要配置。2. 如果是双网卡, show frontends 看不是一个网段, 要配置 priority_network。然后删掉 fe/meta be/storage 重新搭建。
从 kafka routine load 读数据写 starrocks 报错
问题描述:
Failed to commit txn 47777. Tablet [11809] success replica num 0 is less then quorum replica num 2 while error backends 10002,10003,10004 "
解决方案:
导入频率过高, compaction 赶不上 ,可适当降低导入频率。集群资源足够可以 compaction 参数。
flink-cdc 导入数据失败
问题描述:
导入数据报错:The connection property ‘zeroDateTimeBehavior’ only accepts values of the form :‘exception’,‘round’, or ‘convertToNull’
解决方案:
mysql 与 connector 的版本兼容导致,请参考该贴:flink-cdc2.1.0版本 导入数据报错“ The connection property 'zeroDateTimeBehavior' only accepts values of the form: 'exception', 'round' or 'convertToNull'. The value 'CONVERT_TO_NULL' is not in this set”
通过 java 编写 stream load 请求导入数据报错
问题描述:
报错详情:Caused by: org.apache.http.ProtocolException: The server failed to respond with a valid HTTP response
解决方案:
stream load 导入端口是 http_port,检查 ip 和端口。
flink-cdc 的导数 oracle 数据过程出现异常
问题描述:
invalid memory adress or nil pointer derference
解决方案:
oracle 中的配置文件中的端口应为 1521。1521 为 oracle 默认监听端口。
bdbje 设置 bdbje lock timeout 的时间是 10s, 但报 com.sleepycat.je.LockTimeoutException
解决方案:
grep -i full log/fe.gc*
检查 fe 是否发生 full gc,如果发生 full gc 可以调整 fe.conf 中 jvm 内存大小。
有没有什么命令是查每个表的数据量大小
解决方案:
show data;
命令可以查看。补充:数据库里面建了很多表分配了很多 tablet, 但是没有存数据,这些 tablet 会创建相应的目录,并且会有元数据在,元数据会占用资源的,越多的 tablet 会有越多的元数据。
建表报错 “ErrorReason{errCode = 103, msg =‘failed to begin txn for task : Database [default_cluster: ods] data size exceeds quota [2.000 TB]’}”
解决方案:
要设置配额:执行 SQL 修改 ALTER DATABASE xxx SET DATA QUOTA 24576GB; 默认给库的磁盘容量是多少, 默认是上限 2^63 ,不进行限制。
routine load 消费 kafka 的数据报错:Reason: Failed to parse string to json. code = 3, error = Invalid value… src line: [null]
解决方案:
该错误产生请先排查数据质量及分隔符没有问题。
fail to get master from cache
fe 多 ip, 需要在 fe 的 conf 中增加 priority_networks。检查 be 是否发生 OOM。检查 fe 和 be 之间的网络和端口是否打通。