Pulsar 关键能力

[AlexStocks]

• 1 数据落盘过程

pulsar 这里，wal log 异步批量从内存落盘；op log【相当于 kv 的 data】组提交

• 2 Pulsar 核心能力

• 3 Pulsar Operator

• 4 Pulsar Geo Replication

[AlexStocks]

从业务架构耦合性和轻量性来看EDA

接触研究EventMesh
在经过和吉利的业务方多次交流后，发现确实需要合适的异步集成平台来替换现有各业务领域蛛网状的MQ集成体系。恰逢22年EventMesh开源，领先的事件驱动理念和基于java netty庞大的语言生态项目，马上投入人力进行接触研究，发现再适合不过。

EventMesh具备支持HTTP、TCP、GRPC3种方式接入事件总线，支持多种MQ作为事件存储，并且多集群之间具备Remote Mesh能力，这是企业大规模业务场景下刚需能力。

经过POC验证，EventMesh的事件收发、多协议接入、Remote Mesh等核心能力完全冒烟通过。

但是在事件接入鉴权、对MQ生产消费client示例的负载均衡、client回收、注册中心、节点状态上报、订阅鉴权、Http协议下的事件吞吐性能等方便，功能缺失或者不完善。且缺少快速上升的控制面，入门门槛较高。经过多次和社区互动，敲定基于EventMesh进行事件集成平台的建设。

POC验证过程种发现的部分问题
1.Http协议接入，事件发送性能不足，CPU消耗较高，主要是CloudEvent对象的json序列化和方序列化影响

2.Http协议接入，事件发送和事件订阅，鉴权没有实现，且源码中鉴权接口定义不合理，只支持用户名密码鉴权。
3.Remote Mesh能力使用成本较高，加深了架构复杂度。
4.Http协议接入发送事件时，没有服务端负载均衡。最终会造成MQ生产者Client存在多个节点上，并且空闲client无法及时回收，造成集群节点资源浪费。
5.处理Http协议订阅、取消订阅接口时，没有服务端负载均衡。MQ消费者Client无法均匀的分布在集群节点上。
6.事件生产者、事件消费者挂掉时，无法快速感知。尤其是Http协议下，如何快速恢复事件订阅。
7.事件发送和消费没有日志上报相关功能，可观测性不足。
8.事件目标只支持Http/TCP，缺乏对MQ目标、邮箱等类型的支持。
9.事件推送到事件目标前，缺乏事件过滤、事件内容转换等功能。
10.事件通过推送到Http类型的事件目标时，只支持Post方法，不支持delete/put。且不支持配置常量参数、常量header。不支持常见的鉴权如basic auth、bearer token等。
基于EventMesh进行研发
功能需求
经过对EventMesh源码进行深入的研究，基于EventMesh进行改造，最终确定基于如下方案进行事件集成平台建设。

1.使用Http协议作为平台接入协议。基于标准的rest方式进行事件发送，并只支持标准的CloudEvent接入。

2.事件目标需要研发支持Http、MQ（kafka/rocket mq）、邮箱等类型。

3.EventMesh建设多地域、多region的集群，以满足不同业务单位之间的业务集成。

4.使用pulsar作为MQ存储，并使用pulsar集群的full-mesh复制能力，进行消息即mq相关元数据的复制，进而组成mesh架构。

5.研发建设EventMesh Proxy，作为流量接入层，进行负载均衡管理。管理事件发送的负载均衡，确保同一个事件总在固定的eventmesh runtime节点处理，以减少MQ生产者client的重复。管理事件订阅的负载均衡，确保MQ消费者client均匀的分布在eventmesh runtime各节点上。负责恶意攻击流量拦截。负责在EventMesh Runtime节点故障和节点升级时，进行故障转移。

6.EventMesh runtime研发client空闲过期回收功能。

7.EventMesh runtime研发完善注册中心功能。

8.EventMesh runtime研发节点状态上报功能、producer group信息上报功能、consumer group信息上报功能。

9.EventMesh runtime研发完善基于token的鉴权功能，覆盖事件发送鉴权、事件订阅鉴权。

10.EventMesh runtime研发事件发送日志上报、事件推送日志上报功能，便于做业务计费，故障排查等功能。

11.EventMesh runtime研发事件过滤和事件转换功能，以满足数据权限控制等业务特性。

12.EventMesh runtime 完善http推送模型优化，提升推送性能。

13.研发建设集成平台控制面板，做到面向用户，提升易用性。提供SDK，保障用户能快速、低成本的接入事件集成平台。

14.研发EventMesh adapter。定时从控制面板同步事件相关元数据。如订阅变更、权限变更、事件过滤规则、事件转换规则。在EventMesh runtime集群故障或升级过程种，保障元数据能及时更新转移到正常节点。定时同步topic相关元数据到pulsar集群。

https://mp.weixin.qq.com/s/BLHbIq5KyjnhoVlmw9_DBw