빅데이터 처리시스템 개발

빅데이터 처리 유형 3가지

• 배치처리
• 실시간 스트림 처리
• 이벤트 처리

메시지 큐의 개념

• 데이터 전송, 처리과정에서 종속성을 제거하여 데이터 손실 없이 안정적으로 처리하는 기술

빅데이터의 실시간 처리 기술의 활용 방식

• 대량의 실시간 메시지 분산 발송
• 데이터 저장 전 데이터 분석
• 비정상 데이터 탐지

이벤트 처리 시스템의 구성 요소

• 이벤트 생성자
• 이벤트 처리
• 룰 엔진
• 룰 관리자

빅데이터 분산 처리 시스템 구축 철차

1. 요구사항 정의
2. 분산 처리 시스템 설계
3. 분산 처리 시스템 구성
4. 분산 처리 수행 모듈 개발