【详述】通过DataX从Sql Server导入DateTime类型数据毫秒精度丢失
例如:
SQL Server源数据:2022-10-21 15:40:21.137
通过DataX导入后,StarRocks表中的数据为:2022-10-21 15:40:21
通过论坛资料,以及github讨论,已经得知,目前StarRocks的DateTime类型是支持毫秒的,我也做过测试,直接往DateTime插入带毫秒的数据,是可以插入的。
但是,好像没有其他办法再插入毫秒数据了。因为,内置的function暂时还不支持,详见github StarRocks Function Tasks 2023
我现在遇到的困难是,原始数据(csv)中提供的,只有time类型的数据,例如:15:40:21.137
但StarRocks只有Date和DateTime类型,我需要在原数据基础上,增加日期,按照这个思路,我做了2个方案:
1 先将时间类型按照varchar类型进行导入,再通过str_to_date方法进行转换,但目前str_to_date不支持毫秒,失败
2 先将数据导入至其他数据库(SQL Server为例),通过一些方法获取到完整的DateTime再通过DataX导入到StarRocks中,发现毫秒依然精度丢失。
【问题】
1 有没有其他思路(建议),可以导入带毫秒的日期类型数据?
2 毫秒的完整支持是否有时间、版本的规划?我们也好做相应的技术准备
【StarRocks版本】3.1.0 RC1
【集群规模】3fe+3be
【表模型】明细模型
【导入或者导出方式】DataX