Caused by: com.mysql.cj.exceptions.WrongArgumentException: MONTH

💬 StarRocks 用户问答 常见 FAQ
#1

【详述】jdbc catalog 读取mysql数据报错
mysql 数据表包含 类似 0174-00-18， 0000-00-00 这种日期格式，在数据同步时报错。
getNextChunk failed, error: java.sql.SQLException: MONTH
at com.starrocks.jdbcbridge.JDBCScanner.getNextChunk(JDBCScanner.java:162)

以前外表的形式是不会报错的，只是这个日期字段都过来为空而已，jdbc catalog直接中断了，能否修复下呢

#2

MySQL 允许存储一些非标准的日期值，例如：

  1. '0000-00-00' ：零日期。
  2. '0174-00-18' ：月份为 00 的日期。

当 StarRocks 的 JDBC Catalog 读取这些数据时，它依赖于底层的 JDBC 驱动和 StarRocks 的数据类型转换逻辑。StarRocks 的 DATE 或 DATETIME 类型要求月份（MONTH）必须在 1 到 12 之间。当遇到 00 这样的非法月份值时，转换过程会抛出异常，导致整个同步任务中断。

为什么以前的外表（可能是旧的 External Table 或其他同步方式）不会报错？

以前的同步方式可能在读取时使用了更宽松的模式，或者在转换失败时直接将值设为 NULL 而不是中断任务。JDBC Catalog 的实现可能更严格地遵循了 StarRocks 的数据类型校验规则。

解决方案和排查思路

由于这是 StarRocks JDBC Catalog 在处理 MySQL 异常日期值时的行为变化，您无法直接在 StarRocks 侧“修复”MySQL中的数据。您需要通过以下两种方式之一来解决：

方案一：修改 MySQL JDBC 连接参数（推荐）

MySQL JDBC 驱动提供了一个参数 zeroDateTimeBehavior ，用于控制驱动如何处理 0000-00-00 这样的零日期值。

您可以尝试在创建 JDBC Catalog 时，在 jdbc_uri 或 PROPERTIES 中添加或修改这个参数，让驱动将这些非法日期值转换为 NULL 或其他可接受的值。

操作步骤：

  1. 检查现有 Catalog 的 jdbc_uri 。
  2. 修改 jdbc_uri ，添加 zeroDateTimeBehavior=convertToNull 。

例如，如果您的原始 URI 是：

jdbc:mysql://host:port/database

您应该修改为：

jdbc:mysql://host:port/database?zeroDateTimeBehavior=convertToNull

如果您的 Catalog 已经创建，您可能需要使用 ALTER CATALOG 命令（如果支持）或删除重建 Catalog。

注意： 不同的 StarRocks 版本和 MySQL JDBC 驱动版本可能对该参数的支持和默认行为有所不同。 convertToNull 是最常用的解决办法。

方案二：在查询时进行数据清洗（如果无法修改 Catalog）

如果您无法修改 Catalog 的连接参数，您可以在查询 JDBC Catalog 表时，通过 SQL 函数对日期字段进行预处理，以避免 StarRocks 尝试直接转换非法值。

操作步骤：

  1. 将 StarRocks 侧的表字段定义为 VARCHAR 或 STRING 类型。
  • 如果您是通过 CREATE EXTERNAL TABLE 创建的表，确保日期字段映射为 VARCHAR 。
  • 如果您是直接查询 Catalog，StarRocks 会自动推断类型。如果推断为 DATE/DATETIME 导致报错，您可能需要使用 SELECT 语句进行显式转换。
  1. 使用 SQL 语句进行查询和转换： 在查询时，使用 StarRocks 的字符串函数（如 CASE WHEN 或 REGEXP ）来识别并处理非法日期，然后使用 STR_TO_DATE 或 CAST 进行安全转换。
SELECT
    -- 假设您的日期字段是 'date_col'
    CASE
        -- 识别非法日期格式，例如月份为 '00' 或整个为 '0000-00-00'
        WHEN date_col LIKE '%-00-%' OR date_col = '0000-00-00' THEN NULL
        ELSE CAST(date_col AS DATE) -- 或 STR_TO_DATE(date_col, '%Y-%m-%d')
    END AS safe_date_col,
    ...
FROM your_jdbc_catalog.database.table;

但是，请注意： 由于您提到的是 getNextChunk failed ，这意味着错误发生在数据读取阶段，而不是查询执行阶段。如果错误发生在数据读取阶段， 方案二可能无法解决问题 ，因为 StarRocks 在读取数据块时就已经尝试进行类型转换并失败了。

因此， 方案一（修改 JDBC URI，添加 zeroDateTimeBehavior=convertToNull ） 是解决此问题的最有效和推荐的方法。

京ICP备2022026421号-1