Skip to content

Releases: DTStack/chunjun

1.8.3

04 Jan 10:37

Choose a tag to compare

新功能:
1.添加clickhouse插件
2.添加PolarDB插件
3.sftp支持ssh key认证方式
4.HDFS读取插件支持文件过滤
5.插件加载方式支持shipfile模式
6.kafka插件支持除了binlog之外的其它数据源的数据
7.hdfs插件支持配置hadoop_user_name
8.hdfs插件兼容hive 1.x写入的数据文件
9.支持kafka 1.0版本
10.任务提交模式支持standalone模式
11.支持hadoop3

bugfix:
1.修复写入ftp时因flush导致的问题
2.修复hdfs插件写入parquet表时字段名称大小写问题
3.修复Sql Server自增主键写入bug
4.修复hdfs读取插件因常量字段导致数据错位的问题
5.修复写入PostgreSQL因脏数据导致数据重复的问题
6.修复分库分表插件读取bug

优化:
1.优化任务结束时指标汇总逻辑
2.hdfs读取插件优化分片创建逻辑

r1.8.2

04 Nov 11:42

Choose a tag to compare

新功能:
1、添加kudu插件
2、mongoDB插件支持URL连接

bugfix:
1、修复实时采集脏数据统计及写入bug
2、修复增量任务开启断点续传时无法获取正确startLocation bug
3、fix issue#98

r1.5.5

04 Nov 11:46
77e61d5

Choose a tag to compare

新功能:
1、添加kudu插件
2、mongoDB插件支持URL连接

bugfix:
1、修复实时采集脏数据统计及写入bug
2、修复增量任务开启断点续传时无法获取正确startLocation bug
3、fix issue#98

r1.8.1

05 Oct 08:28

Choose a tag to compare

bugfix:
1.修复写入hdfs时文件覆盖的bug;

添加新功能文档说明

r1.5.4

05 Oct 08:27

Choose a tag to compare

bugfix:
1.修复写入hdfs时文件覆盖的bug;

添加新功能文档说明

r1.8.0

23 Sep 11:19

Choose a tag to compare

1.v1.8.0基于flink1.8.1版本;
2.v1.8.0功能基于v1.5.3分支,包含v1.5.3的全部功能,并且hdfs插件,hive插件,hbase插件支持开启kerberos认证;

r1.5.3

23 Sep 11:16

Choose a tag to compare

新功能:
1.添加gbase插件;
2.添加kafka插件;
3.添加hivewrite插件;
4.添加mysql binlog插件,支持实时采集mysql数据;
5.支持断点续传功能;
6.写入hdfs和ftp增加根据文件大小进行切分文件;
7.读取关系数据库支持以row_number函数作为切分键;
8.写入postgresql支持 copy from 模式;
9.hbasewriter插件支持rowkey中使用md5函数;
10.支持yarn perjob模式提交任务;
11.统计数据支持写入普罗米修斯;

bugfix和优化:
1.fix多个数据分片读取慢的问题;
2.优化统计指标的计算和获取逻辑;
3.优化es读取数据方式为scroll;
4.以orc和parquet文件格式写入hdfs时,对decimal类型的数据做精度检测;
5.优化写入hdfs和ftp的代码结构;
6.local模式运行结束展示任务统计数据;
7.读写textfile格式的文件时,对null值"\N"做特殊处理;
6.其它的小bug修复和代码优化;

r1.5.2

28 Jun 07:15

Choose a tag to compare

这个版本主要是修复一些bug,bug修复列表:
1.修复db2插件获取表字段信息的bug;
2.修复ftp插件读取目录只能读取第一个文件的bug;
3.ftp插件里ftp连接的超时参数可配置化;
4.修复任务取消时统计指标不能输出到普罗米修斯的bug;
5.修复hdfs插件读取orc文件schema信息时的堆栈溢出bug;
6.修复hdfs插件读取parquet文件构造分片的bug;
7.修复hdfs插件读取parquet文件里decimal数据类型出错的bug;

r1.5.1

09 May 06:20

Choose a tag to compare

新增功能:
1.增量同步
2.关系数据库自定义sql同步
3.常量字段支持
4.增加stream插件,mock数据
5.增加carbondata插件
6.同步统计指标输出到prometheus

bug修复:
修复了使用过程中发现的bug以及部分插件的性能优化

r1.4.0

09 Jun 09:41

Choose a tag to compare

基于filnk1.4.0版本