목록2024/10/13 (1)
성장일지
앞으로 할 프로젝트 목표
프로젝트 1: 대규모 로그 데이터 처리 파이프라인 구축프로젝트 개요대규모 웹 서버 로그 데이터를 수집하고 Apache Spark를 통해 분석하여, 사용자 행동 패턴을 이해하고 사이트 최적화를 위한 인사이트를 제공하는 데이터 파이프라인을 구축하였습니다.기술 스택Apache SparkHadoop HDFSAWS S3PandasTableau과정데이터 수집: 웹 서버에서 발생하는 로그 데이터를 AWS S3에 저장.데이터 처리: Apache Spark를 사용하여 로그 데이터를 분산 처리하고, 유의미한 통계(예: 에러 로그, 접속 빈도)를 추출.후처리: Pandas를 사용해 처리된 데이터를 정리하고 필요한 정보를 추출.데이터 시각화: Tableau를 통해 최종 분석 결과를 대시보드 형태로 시각화하여 팀원들과 공유.결..
나의 성장기
2024. 10. 13. 17:25