데이터엔지니어링 트랙 5개월차 후기

일단 지난 3, 4월부터 해서 오늘까지 꽤 시간이 많이 지났습니다. 그 안에 많은 상황들이 있었고, 제가 목표했던 것들을 조정하기도 이뤄내기도 했습니다. 일단 저번에 올렸던 목표를 점검해보겠습니다.

• 알고리즘 스터디
• CS 스터디(정처기 실기 준비)(가채점 결과는 합격)
• 빅데이터를 지탱하는 기술 책 리뷰(읽기만 했습니다,,)
• 데이터엔지니어링 키트 마무리
• 블로그 리뷰하기

일단 알고리즘 스터디는 전혀 하지 못했고, 정처기 실기 시험은 잘 마무리가 됐습니다. 그리고 프로그래머스에서 진행하는 데이터엔지니어링 키트 모두 완강했고, 공부하면서 블로그 리뷰도 마무리 했습니다. 사실 5월 달까지, 전부하진 못할거라고 생각했는데 그래도 중요한 우선 순위를 잘 두고 하나하나 잘 했던 것 같습니다.

 

마냥 데이터가 좋아서 이 길을 시작했는데, 조금 더 알고나니까 더 매력적인 것 같습니다. 이번에 학원에서는 웹을 배우던 시기 동안에 조금 저한테는 재미가 없었던? 그런 느낌이 있었는데, 웹도 어느 순간 재밌어지면서 어떻게 활용하는게 웹을 잘 활용하는걸까? 그리고 데이터를 어떻게 서빙해야 백엔드와 ML팀과 잘 일할 수 있을까?에 대한 재밌는 고민을 하고 있습니다.

 

제가 직접 에어플로우로 자동화된 파이프라인을 구현하는 건 처음인데, 지난 번에 했던 Django 프로젝트에 더해서 파이프라인을 구현하고 있습니다. 팀원 분들을 또 모았고, 인턴 때 제 사수로 계시던 데이터엔지니어분과 같이 스포티파이 데이터를 수집하고,  파이프라인을 만드는 과정을 함께하고 있습니다. 그리고 학원에서 팀을 굉장히 자주하는 병창이는 웹을 맡았고, 웨어하우스 구현 후에 가벼운 데이터 분석과 대시보드 제작을 맡아달라고 했습니다. 그리고 학원에서 프론트엔드 지망하시는 분이 있어서, 저희 웹사이트의 프론트를 맡겼습니다. 최종 프로젝트 전까지 진행할 생각인데, 여유롭게 진행하면 좋은 프로젝트 경험이 되지 않을까 싶습니다.

 

최근에 힘들었다기보다는 마음이 조금 붕 떠 있다는 느낌을 받았는데, 프로젝트도 하고 하둡 에코시스템 관련 기술들을 배우다보니까 뭔가 이전보다 더 몰입하고 있는 기분입니다. 6월이 끝날 때까지 또 열심히 해보겠습니다. 아마 일기는 자주 못올리지 않을까 싶은데, 저에게 있어 6월 말까지의 목표는,

• 데이터파이프라인 구현 + 웹 프로젝트 잘 끝내기
• 최종 프로젝트 열심히해서, 팀원들이랑 재밌고 좋은 기억으로 남기기
• 학원에 계신 분들이랑, 얼마 안 남은 시간동안 재밌게 보내기

일단 이렇습니다. 6월까지는 프로젝트에 집중할 생각이고, 수업 하나하나 잘 따라가는게 목표입니다. 그리고 같이 팀을 하면서 많이 느낀 건, 여전히 많이 부족한 사람이고 배워야할게 아직 많은 것 같다고 느꼈습니다. 뭐 공부나 이런 기술적인 것들이 아니라, 간간히 보면 사람 관계에서도 뛰어난 사람들이 보이고 배울 점들이 많은 사람들이 보이는데 그런 모습을 많이 배워야 할 것 같다고 요즘 부쩍 느낍니다. 화이팅