1- # 0.20 发布说明
21
2+ # WarpParse 0.20 版本发布:数据集成能力再升级!
3+
4+ 亲爱的用户们,
5+
6+ 我们很高兴地宣布 WarpParse 0.20-beta 版本发布!本次更新主要聚焦于 ** 数据集成能力的全面增强** ,引入了多项全新的 Sink 连接器,旨在为您提供更灵活、更高效的数据处理体验。无论您是需要将数据写入 ElasticSearch 进行实时分析,还是导入 Doris、ClickHouse 进行大数据处理,亦或是通过 HTTP/HTTPS 与各类服务进行集成,0.20 版本都能满足您的需求。
7+
8+ ## 本次更新亮点
9+
10+ ### 新增多款高性能数据 Sink
311
4- ## Added
12+ 为了更好地支持多样化的数据存储和分析场景,0.20 版本新增了以下强大的数据 Sink:
513
6- ### 新增支持 ElasticSearch Sink。
7- 支持通过 HTTP/HTTPS 将解析后的记录批量写入 Elasticsearch的` /_bulk ` 接口,支持超时、重试与密码认证配置。
14+ * ** ElasticSearch Sink** :现在,您可以轻松地将解析后的数据批量写入 ElasticSearch 的 ` _bulk ` 接口。我们支持 HTTP/HTTPS 协议,并提供了超时、重试以及密码认证等配置选项,确保数据传输的稳定性和安全性。这对于需要实时数据索引和搜索的应用场景至关重要。
815示例:
916``` toml
1017[connectors .params ]
@@ -16,100 +23,6 @@ username = "${SEC_USERNAME}" # 用户名
1623password = " ${SEC_PASSWORD}" # 密码
1724batch_size = 1_0000 # 单批次写入记录数
1825```
19- - 使用文档:[ Elasticsearch Sink] ( ../10-user/05-connectors/02-sinks/20-elasticsearch_sink.md )
20- - 示例索引:[ wp-examples/extensions/elasticsearch/README.md] ( https://github.com/wp-labs/wp-examples/blob/main/extensions/elasticsearch/README.md )
21-
22-
23- ### 新增支持 Postgres Sink。
24- - 使用文档:[ PostgreSQL Sink] ( ../10-user/05-connectors/02-sinks/23-postgresql_sink.md )
25- - 示例索引:[ wp-examples/extensions/tcp_postgres/README.md] ( https://github.com/wp-labs/wp-examples/blob/main/extensions/tcp_postgres/README.md )
26-
27- ### 新增支持 Doris Sink。
28- 支持通过 Stream Load API 将数据批量写入 Apache Doris,支持自定义 Stream Load headers、超时、重试与密码认证。
29- 示例:
30- ``` toml
31- [connectors .params ]
32- endpoint = " http://localhost:8040" # 使用 BE 的 HTTP 端口
33- user = " ${SEC_USERNAME}" # 用户名
34- password = " ${SEC_PASSWORD}" # 密码
35- database = " " # 数据库
36- table = " " # 表名
37- batch_size = 1_0000 # 请求批量大小
38-
39- # 可选:自定义 Stream Load 参数
40- [connectors .params .headers ]
41- strip_outer_array = " false"
42- max_filter_ratio = " 0.1"
43- strict_mode = " false"
44- ```
45- - 使用文档:[ Doris Sink] ( ../10-user/05-connectors/02-sinks/17-doris.md )
46- - 示例索引:[ wp-examples/extensions/doris/README.md] ( https://github.com/wp-labs/wp-examples/blob/main/extensions/doris/README.md )
47-
48-
49- ### 新增支持 ClickHouse Sink。
50- 支持通过 使用 HTTP 传输的 RowBinary 格式写入Clickhouse接口,支持超时、重试与密码认证配置。
51- 示例:
52- ``` toml
53- [connectors .params ]
54- endpoint = " http://localhost:8123"
55- username = " ${SEC_USERNAME}" # 用户名
56- password = " ${SEC_PASSWORD}" # 密码
57- database = " " # 数据库
58- table = " " # 表名
59- batch_size = 1_0000 # 请求批量大小
60- ```
61- - 使用文档:[ ClickHouse Sink] ( ../10-user/05-connectors/02-sinks/21-clickhouse.md )
62- - 示例索引:[ wp-examples/extensions/clickhouse] ( https://github.com/wp-labs/wp-examples/tree/main/extensions/clickhouse )
63-
64-
65- ### 新增支持 HTTP Sink。
66- 支持将解析后的记录发送到 HTTP/HTTPS 端点,适用于 webhook、API 集成和自定义数据管道,支持将数据以 ` json ` 、` ndjson ` 、` csv ` 、` kv ` 、` raw ` 、` proto-text ` 格式输出,以及 Basic Auth认证、自定义请求头与 gzip 压缩,超时、重试配置。
67- 示例:
68- ``` toml
69- [sink_group .sinks .params ]
70- endpoint = " http://localhost:8080/webhook" # 目标 HTTP 端点
71- method = " POST" # 请求方法
72- username = " ${SEC_USERNAME}" # 使用HTTP Basic 认证
73- password = " ${SEC_PASSWORD}" # 使用HTTP Basic 认证
74- fmt = " json" # 输出格式:`json`、`ndjson`、`csv`、`kv`、`raw`、`proto-text`(默认 `json`)
75- batch_size = 1_0000 # 批量发送大小
76- compression = " none" # 是否启用 gzip 压缩
77-
78- # 可选:自定义 header 参数
79- [connectors .params .headers ]
80- # content-type = "application/json"
81- ```
82- - 使用文档:[ HTTP Sink] ( ../10-user/05-connectors/02-sinks/22-http.md )
83- - 示例索引:[ wp-examples/extensions/http/README.md] ( https://github.com/wp-labs/wp-examples/blob/main/extensions/http/README.md )
84-
85-
86-
87- ## Changed
88-
89- * 升级 wp-connector-api 到 0.8, 减少不必要的依赖
90-
91-
92- ## Fixed
93-
94- * Event ID: 同步上游 wp-motor 修复,统一 wp_event_id 生成逻辑,并避免运行时重启后回退到进程内种子导致的重复 ID。
95-
96-
97-
98-
99-
100- # WarpParse 0.20 版本发布:数据集成能力再升级!
101-
102- 亲爱的用户们,
103-
104- 我们很高兴地宣布 WarpParse 0.20 版本正式发布!本次更新主要聚焦于 ** 数据集成能力的全面增强** ,引入了多项全新的 Sink 连接器,旨在为您提供更灵活、更高效的数据处理体验。无论您是需要将数据写入 ElasticSearch 进行实时分析,还是导入 Doris、ClickHouse 进行大数据处理,亦或是通过 HTTP/HTTPS 与各类服务进行集成,0.20 版本都能满足您的需求。
105-
106- ## 本次更新亮点
107-
108- ### 新增多款高性能数据 Sink
109-
110- 为了更好地支持多样化的数据存储和分析场景,0.20 版本新增了以下强大的数据 Sink:
111-
112- * ** ElasticSearch Sink** :现在,您可以轻松地将解析后的数据批量写入 ElasticSearch 的 ` _bulk ` 接口。我们支持 HTTP/HTTPS 协议,并提供了超时、重试以及密码认证等配置选项,确保数据传输的稳定性和安全性。这对于需要实时数据索引和搜索的应用场景至关重要。
11326
11427* ** Postgres Sink** :新增对 PostgreSQL 数据库的写入支持,为您的关系型数据库集成提供了便捷途径。
11528
@@ -119,16 +32,20 @@ compression = "none" # 是否启用 gzip 压缩
11932
12033* ** HTTP Sink** :这是一个功能强大的通用 Sink,支持将解析后的记录发送到任何 HTTP/HTTPS 端点。它非常适用于 webhook、API 集成和自定义数据管道。您可以选择 ` json ` 、` ndjson ` 、` csv ` 、` kv ` 、` raw ` 、` proto-text ` 等多种输出格式,并支持 Basic Auth 认证、自定义请求头和 gzip 压缩,以及超时、重试配置。
12134
35+ 具体使用,可以查看 [ 配置文档] ( https://docs.warpparse.ai/beta/zh/10-user/05-connectors/02-sinks )
12236### 优化与修复
12337
12438* ** 依赖升级** :我们将 ` wp-connector-api ` 升级到 0.8 版本,有效减少了不必要的依赖。
12539* ** Event ID 修复** :同步了上游 ` wp-motor ` 的修复,统一了 ` wp_event_id ` 的生成逻辑,并成功避免了运行时重启后回退到进程内种子导致的重复 ID 问题.
12640
12741## 立即体验新版本!
12842
129- 我们强烈建议所有用户升级到 0.20 版本,以体验这些激动人心的新功能和性能改进。您可以通过以下链接获取更多详细信息和升级指南:
43+ 我们建议所有用户升级到 0.20 版本,以体验这些新功能和。您可以通过以下链接获取更多详细信息和升级指南:
44+
45+ ```
46+ curl -sSf https://get.warpparse.ai/beta_setup.sh | bash
47+ ```
13048
131- * [ GitHub 发布说明] ( https://github.com/wp-labs/wp-docs/blob/alpha/docs-zh/00-release/0.20.md )
13249
13350感谢您一直以来对 WarpParse 的支持!我们将持续努力,为您带来更多创新和实用的功能。
13451
0 commit comments