성장일지

프로젝트 1: 대규모 로그 데이터 처리 파이프라인 구축프로젝트 개요대규모 웹 서버 로그 데이터를 수집하고 Apache Spark를 통해 분석하여, 사용자 행동 패턴을 이해하고 사이트 최적화를 위한 인사이트를 제공하는 데이터 파이프라인을 구축하였습니다.기술 스택Apache SparkHadoop HDFSAWS S3PandasTableau과정데이터 수집: 웹 서버에서 발생하는 로그 데이터를 AWS S3에 저장.데이터 처리: Apache Spark를 사용하여 로그 데이터를 분산 처리하고, 유의미한 통계(예: 에러 로그, 접속 빈도)를 추출.후처리: Pandas를 사용해 처리된 데이터를 정리하고 필요한 정보를 추출.데이터 시각화: Tableau를 통해 최종 분석 결과를 대시보드 형태로 시각화하여 팀원들과 공유.결..

오랜만에 다시 써본다음 뭘 써야 될지 모르겠네..근황부터 얘기하자면 일단 대기업으로 이직을 했다.부모님께서 좋아하시기도 하고처음에는 나름대로 자랑스럽기도 했다처음에는 정말 좋았지만 요즘 심하게 힘들다ㅋㅋ...업무는 나만 붕 뜬것 같고 선임이랑 안맞고내 커리어에 도움이 될지도 의문이고...일단 자격증 공부랑 데이터 분석 경진대회 나가면서이직준비중이다.방금 말했듯이 it관련 자격증 3개를 취득했다.목표는 다른 것도 취득하고 대회도 몇개 참석하려고 한다.단기적인 목표는 자격증 취득과 함께 회사 탈출이다.뭐....일단 근황은 이렇고그래서 앞으로 어떻게 해야될까?머리랑 마음이 정리가 안되어서 정리하려고 다시 글을 써봤는데조금은 도움이 되는 듯하다.일단 자기개발부터 꾸준히 하자.내 중장기적 목표는 데이터 분야 ai..