庆祝社区一周年!再来一个DataX StarRocksReader(测试版)

StarRocksReader 插件文档


1 快速介绍

StarRocksReader插件实现了从StarRocks读取数据。在底层实现上,StarRocksReader通过JDBC连接远程StarRocks数据库,并执行相应的sql语句将数据从StarRocks库中SELECT出来。

下载地址:starrocksreader.tar.gz (8.2 MB)

2 实现原理

StarRocksReader通过JDBC连接器连接到远程的StarRocks数据库,并根据用户配置的信息生成查询SELECT SQL语句并发送到远程StarRocks数据库,将该SQL执行返回结果使用DataX自定义的数据类型拼装为抽象的数据集,并传递给下游Writer处理。

对于用户配置Table、Column、Where的信息,StarRocksReader将其拼接为SQL语句发送到StarRocks数据库;对于用户配置querySql信息,StarRocks直接将其发送到StarRocks数据库。

3 功能说明

3.1 配置样例

  • 配置一个从StarRocks数据库同步抽取数据作业:
{
    "job": {
        "setting": {
            "speed": {
                "byte": 1048576
            },
            "errorLimit": {
                "record": 0,
                "percentage": 0.02
            }
        },
        "content": [
            {
                "reader": {
                    "name": "starrocksreader",
                    "parameter": {
                        "username": "xxx",
                        "password": "xxx",
                        "column": [
                            "id",
                            "name"
                        ],
                        "splitPk": "pk",
                        "connection": [
                            {
                                "table": [
                                    "table"
                                ],
                                "jdbcUrl": [
                                    "jdbc:mysql://ip:port/database"
                                ]
                            }
                        ],
                        "fetchSize": 1024,
                        "where": "1 = 1"
                    }
                },
                "writer": {
                    "name": "streamwriter",
                    "parameter": {
                        "print": true
                    }
                }
            }
        ]
    }
}

  • 配置一个自定义SQL的数据库同步任务的作业:
{
    "job": {
        "setting": {
            "speed": {
                "byte": 1048576
            },
            "errorLimit": {
                "record": 0,
                "percentage": 0.02
            }
        },
        "content": [
            {
                "reader": {
                    "name": "starrocksreader",
                    "parameter": {
                        "username": "xxx",
                        "password": "xxx",
                        "column": [
                            "id",
                            "name"
                        ],
                        "splitPk": "pk",
                        "connection": [
                            {
                                "querySql": [
                                    "SELECT * from srtbl"
                                ],
                                "jdbcUrl": [
                                    "jdbc:mysql://ip:port/database"
                                ]
                            }
                        ],
                        "fetchSize": 1024,
                        "where": "1 = 1"
                    }
                },
                "writer": {
                    "name": "streamwriter",
                    "parameter": {
                        "print": true
                    }
                }
            }
        ]
    }
}

3.2 参数说明

  • jdbcUrl

    • 描述:描述的是到对端数据库的JDBC连接信息,StarRocks兼容MySQL语法,这里的jdbcUrl按照MySQL官方规范,并可以填写连接附件控制信息。
    • 示例: jdbc:mysql://192.168.110.101:9030/liumu
    • 必选:是

    • 默认值:无

  • username

    • 描述:StarRocks的用户名。

    • 必选:是

    • 默认值:无

  • password

    • 描述:StarRocks指定用户名的密码。

    • 必选:是

    • 默认值:无

  • table

    • 描述:所选取的需要同步的表名。

    • 必选:是

    • 默认值:无

  • column

    • 描述:所配置的表中需要同步的列名集合,使用JSON的数组描述字段信息。用户使用代表默认使用所有列配置,例如[’’]。

      支持列裁剪,即列可以挑选部分列进行导出。

      支持列换序,即列可以不按照表schema信息进行导出。

      支持常量配置,用户需要按照JSON格式:
      [“id”, “1”, “‘starrocks’”, “null”, “to_char(a + 1)”, “2.3” , “true”]
      id为普通列名,1为整形数字常量,'starrocks’为字符串常量,null为空指针,to_char(a + 1)为表达式,2.3为浮点数,true为布尔值。

      Column必须显示填写,不允许为空!

    • 必选:是

    • 默认值:无

  • splitPk

    • 描述:StarRocksReader进行数据抽取时,如果指定splitPk,表示用户希望使用splitPk代表的字段进行数据分片,DataX因此会启动并发任务进行数据同步,这样可以大大提供数据同步的效能。

      推荐splitPk用户使用表主键,因为表主键通常情况下比较均匀,因此切分出来的分片也不容易出现数据热点。

      目前splitPk仅支持整形数据切分,不支持浮点、字符串型、日期等其他类型。如果用户指定其他非支持类型,StarRocksReader将报错!

      splitPk如果不填写,将视作用户不对单表进行切分,StarRocksReader使用单通道同步全量数据。

    • 必选:否

    • 默认值:空

  • where

    • 描述:筛选条件,StarRocksReader根据指定的column、table、where条件拼接SQL,并根据这个SQL进行数据抽取。例如在做测试时,可以将where条件指定为limit 10;在实际业务场景中,往往会选择当天的数据进行同步,可以将where条件指定为gmt_create > $bizdate 。

      where条件可以有效地进行业务增量同步。where条件不配置或者为空,视作全表同步数据。
      
    • 必选:否

    • 默认值:无

  • querySql

    • 描述:在有些业务场景下,where这一配置项不足以描述所筛选的条件,用户可以通过该配置型来自定义筛选SQL。当用户配置了这一项之后,DataX系统就会忽略table,column这些配置型,直接使用这个配置项的内容对数据进行筛选,例如需要进行多表join后同步数据,使用select a,b from table_a join table_b on table_a.id = table_b.id

    当用户配置querySql时,StarRocksReader直接忽略table、column、where条件的配置

    • 必选:否

    • 默认值:无

  • fetchSize

    • 描述:该配置项定义了插件和数据库服务器端每次批量数据获取条数,该值决定了DataX和服务器端的网络交互次数,能够较大的提升数据抽取性能。

    注意,该值过大(>2048)可能造成DataX进程OOM。

    • 必选:否

    • 默认值:1024

3.3 类型转换

目前StarRocksReader支持大部分常用数据类型如数字、字符等,但也存在部分个别类型没有支持的情况。

3赞

必须要支持一个!

龙哥牛的 :cowboy_hat_face:

1赞

使用starrocksreader时报错:
[不支持的数据库类型,请注意查看DataX已经支持的数据库类型以及数据库版本], -unsupported database type.

DataX github上的官方版本不是我发的这个,那个里面有小bug,执行会出现你发的那个报错,刚才已经提了pr,用最新代码修复好的包可以用这个:
starrocksreader.zip (6.9 MB)
若无特殊问题,也建议使用这个包。

你这个reader在作为千万级别宽表 迁移的时候 ,是一次性读取所有数据到内存吗,我这边四百万测试就不成功了