[실시간] RBML, SBML HML
·
데이터 엔지니어
분산 시스템의 메시지 로깅 패턴: RBML, SBML, HML 완전 정복스트리밍 데이터 처리 시스템을 운영하다 보면 가장 중요한 문제 중 하나가 바로 메시지 유실 방지입니다. 특히 Flink, Kafka Streams 같은 실시간 처리 엔진에서는 시스템 장애가 발생했을 때 어떻게 데이터를 안전하게 복구할 것인가가 핵심 과제죠.오늘은 분산 시스템에서 사용되는 세 가지 메시지 로깅 패턴인 RBML, SBML, HML에 대해 실무 경험을 바탕으로 자세히 알아보겠습니다.메시지 로깅이 왜 필요한가?먼저 간단한 시나리오를 생각해보겠습니다. 이커머스 회사에서 실시간 주문 처리 시스템을 운영하고 있다고 가정해보죠.주문 이벤트 → Flink 처리 → 재고 업데이트 → 알림 발송만약 Flink 애플리케이션이 재고 업데이트..