Releases: DTStack/chunjun
Releases · DTStack/chunjun
1.8.3
04 Jan 10:37
Compare
Sorry, something went wrong.
No results found
新功能:
1.添加clickhouse插件
2.添加PolarDB插件
3.sftp支持ssh key认证方式
4.HDFS读取插件支持文件过滤
5.插件加载方式支持shipfile模式
6.kafka插件支持除了binlog之外的其它数据源的数据
7.hdfs插件支持配置hadoop_user_name
8.hdfs插件兼容hive 1.x写入的数据文件
9.支持kafka 1.0版本
10.任务提交模式支持standalone模式
11.支持hadoop3
bugfix:
1.修复写入ftp时因flush导致的问题
2.修复hdfs插件写入parquet表时字段名称大小写问题
3.修复Sql Server自增主键写入bug
4.修复hdfs读取插件因常量字段导致数据错位的问题
5.修复写入PostgreSQL因脏数据导致数据重复的问题
6.修复分库分表插件读取bug
优化:
1.优化任务结束时指标汇总逻辑
2.hdfs读取插件优化分片创建逻辑
r1.8.2
04 Nov 11:42
Compare
Sorry, something went wrong.
No results found
新功能:
1、添加kudu插件
2、mongoDB插件支持URL连接
bugfix:
1、修复实时采集脏数据统计及写入bug
2、修复增量任务开启断点续传时无法获取正确startLocation bug
3、fix issue#98
r1.5.5
04 Nov 11:46
Compare
Sorry, something went wrong.
No results found
新功能:
1、添加kudu插件
2、mongoDB插件支持URL连接
bugfix:
1、修复实时采集脏数据统计及写入bug
2、修复增量任务开启断点续传时无法获取正确startLocation bug
3、fix issue#98
r1.8.1
05 Oct 08:28
Compare
Sorry, something went wrong.
No results found
bugfix:
1.修复写入hdfs时文件覆盖的bug;
添加新功能文档说明
r1.5.4
05 Oct 08:27
Compare
Sorry, something went wrong.
No results found
bugfix:
1.修复写入hdfs时文件覆盖的bug;
添加新功能文档说明
r1.8.0
23 Sep 11:19
Compare
Sorry, something went wrong.
No results found
1.v1.8.0基于flink1.8.1版本;
2.v1.8.0功能基于v1.5.3分支,包含v1.5.3的全部功能,并且hdfs插件,hive插件,hbase插件支持开启kerberos认证;
r1.5.3
23 Sep 11:16
Compare
Sorry, something went wrong.
No results found
新功能:
1.添加gbase插件;
2.添加kafka插件;
3.添加hivewrite插件;
4.添加mysql binlog插件,支持实时采集mysql数据;
5.支持断点续传功能;
6.写入hdfs和ftp增加根据文件大小进行切分文件;
7.读取关系数据库支持以row_number函数作为切分键;
8.写入postgresql支持 copy from 模式;
9.hbasewriter插件支持rowkey中使用md5函数;
10.支持yarn perjob模式提交任务;
11.统计数据支持写入普罗米修斯;
bugfix和优化:
1.fix多个数据分片读取慢的问题;
2.优化统计指标的计算和获取逻辑;
3.优化es读取数据方式为scroll;
4.以orc和parquet文件格式写入hdfs时,对decimal类型的数据做精度检测;
5.优化写入hdfs和ftp的代码结构;
6.local模式运行结束展示任务统计数据;
7.读写textfile格式的文件时,对null值"\N"做特殊处理;
6.其它的小bug修复和代码优化;
r1.5.2
28 Jun 07:15
Compare
Sorry, something went wrong.
No results found
这个版本主要是修复一些bug,bug修复列表:
1.修复db2插件获取表字段信息的bug;
2.修复ftp插件读取目录只能读取第一个文件的bug;
3.ftp插件里ftp连接的超时参数可配置化;
4.修复任务取消时统计指标不能输出到普罗米修斯的bug;
5.修复hdfs插件读取orc文件schema信息时的堆栈溢出bug;
6.修复hdfs插件读取parquet文件构造分片的bug;
7.修复hdfs插件读取parquet文件里decimal数据类型出错的bug;
r1.5.1
09 May 06:20
Compare
Sorry, something went wrong.
No results found
新增功能:
1.增量同步
2.关系数据库自定义sql同步
3.常量字段支持
4.增加stream插件,mock数据
5.增加carbondata插件
6.同步统计指标输出到prometheus
bug修复:
修复了使用过程中发现的bug以及部分插件的性能优化
r1.4.0
09 Jun 09:41
Compare
Sorry, something went wrong.
No results found