[YQ-4843] Watermarks: docs #30237
[YQ-4843] Watermarks: docs #30237
Conversation
✅ Documentation buildRevision built successfully Build logsWarnings (8) |
| @@ -0,0 +1,9 @@ | |||
| # Водяные знаки | |||
There was a problem hiding this comment.
Непонятно нужно ли как то настраивать ватермарки и как; нужны ли ватермарки если в запросе нет MR/HOP
|
|
||
| Каждое [событие](../datamodel/topic.md#message) в системе потоковой обработки данных имеет ассоциированную с ним временную метку. Эта метка может равняться времени чтения события из [топика](../datamodel/topic.md), может быть получена из данных внутри события или из метаданных [топика](../datamodel/topic.md). | ||
|
|
||
| Поверх этого времени события можно делать сортировку на потоке (внутри [MATCH_RECOGNIZE](../../yql/reference/syntax/select/match_recognize.md#order_by)) или агрегацию на временнОм окне ([GROUP BY HoppingWindow](../../yql/reference/syntax/select/group-by.md#hopping_window)). Эти потоковые операции должны знать текущее время, чтобы на основе этой информации генерировать выходные данные и делать это в режиме реального времени. Времени, получаемого из события, не всегда достаточно, так как события могут приходить нерегулярно или отфильтровываться на более ранних этапах. |
There was a problem hiding this comment.
Непонятно что в данном предложении значит "времени события", это и есть временная метка?
|
|
||
| Каждое [событие](../datamodel/topic.md#message) в системе потоковой обработки данных имеет ассоциированную с ним временную метку. Эта метка может равняться времени чтения события из [топика](../datamodel/topic.md), может быть получена из данных внутри события или из метаданных [топика](../datamodel/topic.md). | ||
|
|
||
| Поверх этого времени события можно делать сортировку на потоке (внутри [MATCH_RECOGNIZE](../../yql/reference/syntax/select/match_recognize.md#order_by)) или агрегацию на временнОм окне ([GROUP BY HoppingWindow](../../yql/reference/syntax/select/group-by.md#hopping_window)). Эти потоковые операции должны знать текущее время, чтобы на основе этой информации генерировать выходные данные и делать это в режиме реального времени. Времени, получаемого из события, не всегда достаточно, так как события могут приходить нерегулярно или отфильтровываться на более ранних этапах. |
There was a problem hiding this comment.
не всегда достаточно,
Как клиенту понять достаточно или не достаточно? Получается как будто врегда нужно использовать ватермарки . Может с одной партицией и не нужно?
| * `projection.enabled` - флаг включения [расширенного партиционирования данных](../../../../concepts/federated_query/s3/partition_projection.md). Допустимые значения: `true`, `false`. | ||
| * `projection.<field_name>.type` - тип поля [расширенного партиционирования данных](../../../../concepts/federated_query/s3/partition_projection.md). Допустимые значения: `integer`, `enum`, `date`. | ||
| * `projection.<field_name>.<options>` - расширенные свойства поля [расширенного партиционирования данных](../../../../concepts/federated_query/s3/partition_projection.md). | ||
| {% if select_command == "SELECT STREAM" %} |
There was a problem hiding this comment.
Это же вроде для rtrm, т.е. наоборот нужно != "SELECT STREAM
|
|
||
| Поверх этого времени события можно делать сортировку на потоке (внутри [MATCH_RECOGNIZE](../../yql/reference/syntax/select/match_recognize.md#order_by)) или агрегацию на временнОм окне ([GROUP BY HoppingWindow](../../yql/reference/syntax/select/group-by.md#hopping_window)). Эти потоковые операции должны знать текущее время, чтобы на основе этой информации генерировать выходные данные и делать это в режиме реального времени. Времени, получаемого из события, не всегда достаточно, так как события могут приходить нерегулярно или отфильтровываться на более ранних этапах. | ||
|
|
||
| Для решения этой проблемы нужен водяной знак. Это наибольшая временная метка, которая гарантированно находится в прошлом для каждой партиции. |
There was a problem hiding this comment.
этой проблемы
может явно написать что за проблема (что-то вроде проблема продвижение времени в отсутсвии данных или запоздании данных)
2 participants
Changelog entry
Add docs for watermarks
Changelog category
Description for reviewers
...