[Chap 04] 카프카 토픽과 파티션, 카프카 프로듀서, 카프카 컨슈머 #7
Description
현석
- 카프카 컨슈머 멀티워커스레드 전략 주의사항 ( p.222 )
- '스레드를 사용함으로써 데이터 처리가 끝나지 않았음에도 불구하고 커밋을 하기 때문에 리밸런싱, 컨슈머 장애 시에 데이터 유실이 발생할 수 있다는 것이다.' 이해하신 분 계신가요...??
- 1개의 컨슈머 스레드에서 워커 스레드 A를 만들고 A' 레코드 처리하라고 시키고, 워커 스레드 B를 만들고 B' 레코드 처리하라고 시키고 하는 방식으로 진행하는게 아닌가요?? 그러면 각각 처리하고 커밋하면 될 것 같은데.... 어떤 상황에서 데이터 유실이 발생하는지 책 코드가 이해가 안갑니다.