빅데이터 2

빅데이터_아키텍처_기술

📊 빅데이터 아키텍처 레이어별 대표 기술 정리레이어주요 역할대표 기술 예시1. 수집 (Collect)다양한 소스로부터 데이터 수집Flume, Kafka, Sqoop, Nifi2. 적재 (Store)수집한 데이터를 저장HDFS, HBase, Cassandra, MongoDB3. 처리 (Process)데이터 정제, 변환 및 처리Spark, MapReduce, Hive, Storm4. 탐색 (Query)저장된 데이터 조회 및 질의Hive, Pig, Drill, Presto5. 분석 (Analyze)통계, 머신러닝, 예측 분석Mahout, MLlib, TensorFlow, R6. 응용 (Apply)결과 시각화, 서비스화, 의사결정 지원Tableau, Zeppelin, Power BI, Kibana✅ 참고 사항..

87_빅데이터_수집레이어

❓ 문제빅데이터 아키텍처는 역할별로수집,적재,처리 및 탐색,분석 및 응용이라는 6개의 레이어로 나눌 수 있다.다음 중 수집 레이어 기술로 가장 적절하지 않은 것은?① 머하웃(Mahout)② 스톰(Storm)③ 카프카(Kafka)④ 플럼(Flume)✅ 보기별 분석번호기술명설명수집 레이어 적합 여부①Mahout기계 학습 라이브러리 (분석/머신러닝에 활용)❌ 부적절 (분석 레이어)②Storm실시간 스트림 처리 시스템⚠️ 처리 중심, 수집보다는 처리③Kafka메시지 큐 기반의 대용량 데이터 수집 도구✅ 수집에 적합④Flume로그 및 이벤트 데이터 수집 도구✅ 수집에 특화🎯 정답① 머하웃(Mahout)→ Mahout은 분석 레이어에 해당하는 기술로, 수집 레이어와는 무관합니다. 자세한 내용은 아래 2개의 토픽빅..