Skip to content

Commit 728fbff

Browse files
authored
发布 WarpParse 0.20 版本,增强数据集成能力
发布 WarpParse 0.20 版本,增强数据集成能力,新增多款高性能数据 Sink,包括 ElasticSearch、Postgres、Doris、ClickHouse 和 HTTP Sink,支持多种输出格式和配置选项。
1 parent 97d931f commit 728fbff

1 file changed

Lines changed: 17 additions & 100 deletions

File tree

docs-zh/00-release/0.20.md

Lines changed: 17 additions & 100 deletions
Original file line numberDiff line numberDiff line change
@@ -1,10 +1,17 @@
1-
# 0.20 发布说明
21

2+
# WarpParse 0.20 版本发布:数据集成能力再升级!
3+
4+
亲爱的用户们,
5+
6+
我们很高兴地宣布 WarpParse 0.20-beta 版本发布!本次更新主要聚焦于 **数据集成能力的全面增强**,引入了多项全新的 Sink 连接器,旨在为您提供更灵活、更高效的数据处理体验。无论您是需要将数据写入 ElasticSearch 进行实时分析,还是导入 Doris、ClickHouse 进行大数据处理,亦或是通过 HTTP/HTTPS 与各类服务进行集成,0.20 版本都能满足您的需求。
7+
8+
## 本次更新亮点
9+
10+
### 新增多款高性能数据 Sink
311

4-
## Added
12+
为了更好地支持多样化的数据存储和分析场景,0.20 版本新增了以下强大的数据 Sink:
513

6-
### 新增支持 ElasticSearch Sink。
7-
支持通过 HTTP/HTTPS 将解析后的记录批量写入 Elasticsearch的`/_bulk`接口,支持超时、重试与密码认证配置。
14+
* **ElasticSearch Sink**:现在,您可以轻松地将解析后的数据批量写入 ElasticSearch 的 `_bulk` 接口。我们支持 HTTP/HTTPS 协议,并提供了超时、重试以及密码认证等配置选项,确保数据传输的稳定性和安全性。这对于需要实时数据索引和搜索的应用场景至关重要。
815
示例:
916
```toml
1017
[connectors.params]
@@ -16,100 +23,6 @@ username = "${SEC_USERNAME}" # 用户名
1623
password = "${SEC_PASSWORD}" # 密码
1724
batch_size = 1_0000 # 单批次写入记录数
1825
```
19-
- 使用文档:[Elasticsearch Sink](../10-user/05-connectors/02-sinks/20-elasticsearch_sink.md)
20-
- 示例索引:[wp-examples/extensions/elasticsearch/README.md](https://github.com/wp-labs/wp-examples/blob/main/extensions/elasticsearch/README.md)
21-
22-
23-
### 新增支持 Postgres Sink。
24-
- 使用文档:[PostgreSQL Sink](../10-user/05-connectors/02-sinks/23-postgresql_sink.md)
25-
- 示例索引:[wp-examples/extensions/tcp_postgres/README.md](https://github.com/wp-labs/wp-examples/blob/main/extensions/tcp_postgres/README.md)
26-
27-
### 新增支持 Doris Sink。
28-
支持通过 Stream Load API 将数据批量写入 Apache Doris,支持自定义 Stream Load headers、超时、重试与密码认证。
29-
示例:
30-
```toml
31-
[connectors.params]
32-
endpoint = "http://localhost:8040" # 使用 BE 的 HTTP 端口
33-
user = "${SEC_USERNAME}" # 用户名
34-
password = "${SEC_PASSWORD}" # 密码
35-
database = "" # 数据库
36-
table = "" # 表名
37-
batch_size = 1_0000 # 请求批量大小
38-
39-
# 可选:自定义 Stream Load 参数
40-
[connectors.params.headers]
41-
strip_outer_array = "false"
42-
max_filter_ratio = "0.1"
43-
strict_mode = "false"
44-
```
45-
- 使用文档:[Doris Sink](../10-user/05-connectors/02-sinks/17-doris.md)
46-
- 示例索引:[wp-examples/extensions/doris/README.md](https://github.com/wp-labs/wp-examples/blob/main/extensions/doris/README.md)
47-
48-
49-
### 新增支持 ClickHouse Sink。
50-
支持通过 使用 HTTP 传输的 RowBinary 格式写入Clickhouse接口,支持超时、重试与密码认证配置。
51-
示例:
52-
```toml
53-
[connectors.params]
54-
endpoint= "http://localhost:8123"
55-
username = "${SEC_USERNAME}" # 用户名
56-
password = "${SEC_PASSWORD}" # 密码
57-
database = "" # 数据库
58-
table = "" # 表名
59-
batch_size = 1_0000 # 请求批量大小
60-
```
61-
- 使用文档:[ClickHouse Sink](../10-user/05-connectors/02-sinks/21-clickhouse.md)
62-
- 示例索引:[wp-examples/extensions/clickhouse](https://github.com/wp-labs/wp-examples/tree/main/extensions/clickhouse)
63-
64-
65-
### 新增支持 HTTP Sink。
66-
支持将解析后的记录发送到 HTTP/HTTPS 端点,适用于 webhook、API 集成和自定义数据管道,支持将数据以 `json``ndjson``csv``kv``raw``proto-text` 格式输出,以及 Basic Auth认证、自定义请求头与 gzip 压缩,超时、重试配置。
67-
示例:
68-
```toml
69-
[sink_group.sinks.params]
70-
endpoint = "http://localhost:8080/webhook" # 目标 HTTP 端点
71-
method = "POST" # 请求方法
72-
username = "${SEC_USERNAME}" # 使用HTTP Basic 认证
73-
password = "${SEC_PASSWORD}" # 使用HTTP Basic 认证
74-
fmt = "json" # 输出格式:`json`、`ndjson`、`csv`、`kv`、`raw`、`proto-text`(默认 `json`)
75-
batch_size = 1_0000 # 批量发送大小
76-
compression = "none" # 是否启用 gzip 压缩
77-
78-
# 可选:自定义 header 参数
79-
[connectors.params.headers]
80-
# content-type = "application/json"
81-
```
82-
- 使用文档:[HTTP Sink](../10-user/05-connectors/02-sinks/22-http.md)
83-
- 示例索引:[wp-examples/extensions/http/README.md](https://github.com/wp-labs/wp-examples/blob/main/extensions/http/README.md)
84-
85-
86-
87-
## Changed
88-
89-
* 升级 wp-connector-api 到 0.8, 减少不必要的依赖
90-
91-
92-
## Fixed
93-
94-
* Event ID: 同步上游 wp-motor 修复,统一 wp_event_id 生成逻辑,并避免运行时重启后回退到进程内种子导致的重复 ID。
95-
96-
97-
98-
99-
100-
# WarpParse 0.20 版本发布:数据集成能力再升级!
101-
102-
亲爱的用户们,
103-
104-
我们很高兴地宣布 WarpParse 0.20 版本正式发布!本次更新主要聚焦于 **数据集成能力的全面增强**,引入了多项全新的 Sink 连接器,旨在为您提供更灵活、更高效的数据处理体验。无论您是需要将数据写入 ElasticSearch 进行实时分析,还是导入 Doris、ClickHouse 进行大数据处理,亦或是通过 HTTP/HTTPS 与各类服务进行集成,0.20 版本都能满足您的需求。
105-
106-
## 本次更新亮点
107-
108-
### 新增多款高性能数据 Sink
109-
110-
为了更好地支持多样化的数据存储和分析场景,0.20 版本新增了以下强大的数据 Sink:
111-
112-
* **ElasticSearch Sink**:现在,您可以轻松地将解析后的数据批量写入 ElasticSearch 的 `_bulk` 接口。我们支持 HTTP/HTTPS 协议,并提供了超时、重试以及密码认证等配置选项,确保数据传输的稳定性和安全性。这对于需要实时数据索引和搜索的应用场景至关重要。
11326

11427
* **Postgres Sink**:新增对 PostgreSQL 数据库的写入支持,为您的关系型数据库集成提供了便捷途径。
11528

@@ -119,16 +32,20 @@ compression = "none" # 是否启用 gzip 压缩
11932

12033
* **HTTP Sink**:这是一个功能强大的通用 Sink,支持将解析后的记录发送到任何 HTTP/HTTPS 端点。它非常适用于 webhook、API 集成和自定义数据管道。您可以选择 `json``ndjson``csv``kv``raw``proto-text` 等多种输出格式,并支持 Basic Auth 认证、自定义请求头和 gzip 压缩,以及超时、重试配置。
12134

35+
具体使用,可以查看 [配置文档](https://docs.warpparse.ai/beta/zh/10-user/05-connectors/02-sinks)
12236
### 优化与修复
12337

12438
* **依赖升级**:我们将 `wp-connector-api` 升级到 0.8 版本,有效减少了不必要的依赖。
12539
* **Event ID 修复**:同步了上游 `wp-motor` 的修复,统一了 `wp_event_id` 的生成逻辑,并成功避免了运行时重启后回退到进程内种子导致的重复 ID 问题.
12640

12741
## 立即体验新版本!
12842

129-
我们强烈建议所有用户升级到 0.20 版本,以体验这些激动人心的新功能和性能改进。您可以通过以下链接获取更多详细信息和升级指南:
43+
我们建议所有用户升级到 0.20 版本,以体验这些新功能和。您可以通过以下链接获取更多详细信息和升级指南:
44+
45+
```
46+
curl -sSf https://get.warpparse.ai/beta_setup.sh | bash
47+
```
13048

131-
* [GitHub 发布说明](https://github.com/wp-labs/wp-docs/blob/alpha/docs-zh/00-release/0.20.md)
13249

13350
感谢您一直以来对 WarpParse 的支持!我们将持续努力,为您带来更多创新和实用的功能。
13451

0 commit comments

Comments
 (0)