플레이데이터 데이터엔지니어링 트랙 완강 후기

안녕하세요. 오늘은 플레이데이터 엔지니어링 트랙 완강을 한 후기에 대해서 글을 써보겠습니닷.. 부트캠프에 가려고 마음 먹었을 때를 생각해보면, 수강 기간동안 정말 알차게 보냈지만, 이제 정말 시작이구나라는 마음입니다. 오늘은 6개월 동안의 기간 동안 제가 뭘 했는지, 그리고 어떤 생각들이 들었었는지 정리해보겠습니다.

12월(수강 전)

---

•  플레이데이터 데이터 엔지니어링 트랙 시작

 사실 저는 데이터 전문 스타트업에서 약 8개월 간, 인턴 근무를 했었습니다. 데이터 분석팀이였지만, 데이터 분석 일보다는 데이터엔지니어링?이라고는 애매하지만, 데이터를 가공하고 정제, 크롤링하는 일들을 했었습니다. 예전에 SBA에서 창업육성팀에서도 6개월 정도 인턴을 해봤었는데, 데이터를 가공하면서 이렇게 재밌는 일을 하면서 돈을 번다고..? 생각했던 것 같습니다. 그럼에도, 컴퓨터공학적인 지식이나, 웹 지식 같은 것들이 부족했고, 데이터엔지니어링 쪽에도 제대로 아는게 없다고 생각해서 당시에 학원을 알아봤었습니다. 폭 넓게 배우되, 만약 엔지니어링 파트가 좀 부족하다면, 엔지니어링은 저 혼자서 보충한다는 생각으로 플레이데이터 엔지니어링 트랙에 지원하게 됩니다.

 

1월 : 수강 시작

---

• 블로그 시작

저는 2019년 쯤에, 수익형 블로그를 티스토리에서 운영한 경험이 있었습니다. 그럼에도, 처음하는 것 같은 마음으로 시작했는데, 예전에 비해서 보면 아직 한참 부족하지만, 글의 전반적인 디자인이 나아진 것 같긴 합니다. 지금 보면, 점점 글을 쓰는 방식도 바뀌고 아무래도 누군가한테 설명하듯이 글을 적는 것이 습관화되긴 한 것 같습니다. 최종 프로젝트에 반에 많은 분들이 제 블로그를 참고하면서, 작업을 했었는데 이 때 가장 뿌듯했던 것 같습니다.

• 파이썬, 데이터 시각화

사실 전부 다 알고 있을 거라고 생각했는데, 강사님의 디테일한 조언들이랑 컴퓨터 공학적인 지식이 곁든 설명을 들으면서, 후에 SPARK 수업 때나 가공 코드가 많이 바뀐 시점이였습니다. 가령 예를 들면 loc 같은 부분들이 at(패스트 인덱서)로 바뀌었다던가, 데이터프레임의 크기가 적정 선을 넘으면, 절대 for문을 쓰지 않는 등..? 그런 디테일한 점들이 많이 바뀌면서, 기존에 가공하던 방식에서 메모리나 동작 시간들을 염두해두고 코딩하는 방식으로 바뀌었습니다.

• 백준 실버

사실 아직도 알고리즘은 제대로 깊게 파진 않았습니다. 누군가한텐 별거 아닐 수 있지만, 굉장히 짧은 시간에 백준 실버를 달았었는데, 기본기가 어느정도 되어있구나 싶어서 혼자서 좋아했습니다. 그런데 이후에 진척이 하나도 없네요 ㅜㅜ. 아마 이제 프로젝트도 끝났으니 코테 준비를 하면서 다듬어야할 것 같습니다.

 

2월 : 자격증, 미니 프로젝트

---

• 머신러닝 미니프로젝트

기존에 열심히 쓰고 있었던 프레임워크인 streamlit으로 간단한 머신러닝 웹페이지를 만들었었습니다. 사실 회원기능도 없고, 굉장히 간단한 사이트이지만 머신러닝을 가볍게 적용해보고, 모델을 깎으면서 데이터사이언티스트와는 이렇게 일하면 되겠구나~ 정도의 인사이트를 얻을 수 있었습니다.

https://dataengineerstudy.tistory.com/61

심장질환 AI 예측 머신러닝 프로젝트 회고

 

• 정보처리기사 필기 합격

전반적인 cs 지식을 보충하려고, 정보처리기사 시험을 보게 됐습니다. 이 때 배웠던 필기지식들이 나중에 프로젝트 할 때, 굉장히 유용하게 쓰였습니다. cs 지식은 다다익선이라는 교훈을 얻게 되었습니다,,

• 아르바이트

이때 샤브샤브 집에서, 잠깐 한달 정도 주말에 같이 일까지 병행했었는데, 여기서도 되게 배울게 많았습니다. 어릴 때는 보지 못했던 것들이 되게 많이 보였었는데, 손님을 엄청나게 효율적으로 받기 위한 구조부터, 직원들이 움직일 때 하나하나 계산된 동선들이 보였는데, 일하면서 하나하나 알 때마다 조금 짜릿??했던 경험이였습니다..,

 

3월 : 미니프로젝트, 웹, 실리콘밸리에서 날아온 데이터엔지니어링 키트

---

• 미니프로젝트(딥러닝)

이 때, 감성분석 기반 딥러닝 미니프로젝트를 했었는데, 자연어처리 기반으로 어떤 서비스를 만든다는게 참 어렵다는 걸 느꼈습니다. 이 맘 때 쯤, 챗GPT가 등장한걸로 아는데, 챗쥐피티에 문장에 감정을 물어보고 잠깐 현타가 왔었떤..ㅋㅋㅋㅋ 때가 기억이 납니다. 그래도, 가사를 통해서 여러가지 감정을 분류하고, 감정을 통해서 노래를 추천해주는 서비스를 간단히 구현했었는데, 후에 SPOTIFY 데이터를 알게 되면서, 그 데이터와 같이 접목시켰으면 조금 더 멋있는 프로젝트가 나오지 않았을까.? 싶습니다.

https://dataengineerstudy.tistory.com/79

사용자 대화 기반 감성 분석 및 노래 추천 프로젝트 회고

 

• 웹 공부(JAVA)

JAVA 기반으로 웹 구현, 디자인 패턴 같은 것들을 배우면서 강의를 들었었는데 사실 강사님 강의력에 비해서 제가 지금까지 머릿속에 담고 있는 내용은 적은 것 같습니다ㅜㅜ.  HTML, CSS 같은 것들로 프론트도 꾸며보고 했었는데 이 때 자바 코드가 기억난다기보다는, 웹의 구조와 통신 방법 정도가 지금 머릿속에 남아있습니다. 이건 추후 프로젝트에, 엄청 유용하게 쓰였는데 특히 포트번호는 IP라는 아파트의 주소다.라는 말이 기억에 남습니다 ㅋㅋㅋㅋㅋ

 

• 실리콘밸리에서 날아온 데이터엔지니어링 키트 시작

이건 학원 외적으로 제가 따로 데이터엔지니어링 쪽을 강화하기 위해서 들었는데, 아마 이 수업을 들으면서 데이터엔지니어가 하고 싶다라는 열망이 100배는 커진 것 같습니다,,,,,

 

4, 5월 : 실날데 마무리, Django 웹프로젝트, 정처기 실기, 클라우드, 하둡 에코 시스템

---

• 실리콘 밸리에서 날아온 데이터엔지니어링 키트 마무리

에어플로우와 레드쉬프트(DW) 기반으로 데이터 파이프라인을 구현해보는 수업이였습니다. 이 때, SQL 쓰는 레벨 자체도 엄청나게 올라간 것 같고, 파이프라인을 구현할 때, 어떤 점을 고려해야하는지, 또한 협업 단계에서 어떻게 분석가, 사이언티스트와 일하는지에 대해서도 많이 배웠습니다. 저는 이 수업을 듣기 전과 후로 나뉩니다...

https://dataengineerstudy.tistory.com/category/%EB%8D%B0%EC%9D%B4%ED%84%B0%20%EC%97%94%EC%A7%80%EB%8B%88%EC%96%B4%EB%A7%81/%EC%8B%A4%EB%A6%AC%EC%BD%98%EB%B0%B8%EB%A6%AC%EC%97%90%EC%84%9C%20%EB%82%A0%EC%95%84%EC%98%A8%20%EB%8D%B0%EC%9D%B4%ED%84%B0%EC%97%94%EC%A7%80%EB%8B%88%EC%96%B4%EB%A7%81%20%EC%8A%A4%ED%83%80%ED%84%B0%20%ED%82%A4%ED%8A%B8

'데이터 엔지니어링/실리콘밸리에서 날아온 데이터엔지니어링 스타터 키트' 카테고리의 글 목록

 

• DJANGO 웹 미니 프로젝트

사실 아직까지 마무리가 되지 못한 프로젝트이지만, SPOTIFY 데이터를 데이터베이스에 쌓고,  S3도 이용해보면서 장고로 직접 웹구현해봤던 프로젝트입니다. 이 때 airflow를 직접 적용해봤고, s3도 간간히 써보면서 최종 프로젝트를 위한 초석이 되었던 것 같습니다. 그리고 최종 프로젝트는 spring으로 진행했는데, 장고가 얼마나 쉬운 프레임워크인지 새삼 감사하게되었습니다..

https://dataengineerstudy.tistory.com/179

1. SPOTIFY API로 데이터 추출하기

 

• 정처기 실기 합격

정보처리 기사 실기를 이 맘 때 합격했고, 공부하면서 많이 배웠습니다. 특히, 학원 수강생분 중에 한분이, 간단히 웹을 개발하셔서 실기 전용 문제 풀이 사이트를 만드셨는데, 엄청 도움이 많이 됐습니다. 지금도 열려 있을테니까, 혹시라도 쓰실 분들은 써보시면 좋을 것 같습니다. 일단 정처기 공부를 하면서, 최종 프로젝트에서 어떻게 시스템을 구성해야할지부터, 전체적인 틀을 잡는데에 엄청 큰 도움이 됐습니다.

https://hobt.co.kr/

최강기출 HoBT!

 

• 하둡 에코 시스템 

학원에서 수강한 내용인데, hive, pig, flume, sqoop, mongodb, spark부터 엄청나게 많은 것들을 배웠습니다. 그런데, 이 강의를 들으면서 전반적인 분산처리에 대한 이해도도 높아진 것 같고, 이걸 클라우드에서 어떻게 쓰느냐?에 대한 서치를 해보면서 또 배운게 많았습니다. 들을 때마다 정말 재밌었는데, 특히 하둡을 VM웨어로 10번은 지웠다 설치했다 해본 기억이 가장 남습니다.. 그래도, 설치해보면서 이미지를 어떻게 활용하는지 이런 것들을 잘 배운 것 같습니다.

https://dataengineerstudy.tistory.com/category/%EB%8D%B0%EC%9D%B4%ED%84%B0%20%EC%97%94%EC%A7%80%EB%8B%88%EC%96%B4%EB%A7%81/%ED%95%98%EB%91%A1%20%EC%97%90%EC%BD%94%20%EC%8B%9C%EC%8A%A4%ED%85%9C

'데이터 엔지니어링/하둡 에코 시스템' 카테고리의 글 목록

 

• 클라우드

AWS 관련해서 옅게 공부를 했었습니다. S3, EC2, REDSHIFT, ATHENA, SageMaker, EMR 이런 것들이 뭔지가 궁금해서 찾아봤었는데, 이 때 또 한번 레벨업한 느낌이였습니다. 하둡 기반 강의를 듣고 클라우드를 보니까 결국 이것들을 편하게 쓰도록 도와주는 기술이라는 생각이 들었습니다. 특히, Athena 같은 경우에는, 한번 사용해보고 싶었는데 아쉽게 최종 프로젝트에는 사용하지 않았습니다.

https://dataengineerstudy.tistory.com/category/AWS

'AWS' 카테고리의 글 목록

 

6월 : 최종프로젝트

---

데이터의 작을 때, 제가 할 수 있는 모든 기술들은 다 써서 엔지니어링을 구현했습니다. 팀원분들이랑 너무 재밌게 프로젝트하기도 했고, 최종 결과물도 좋아서 굉장히 만족스럽지만, 한편으로는 조금 더 할 수 있겠다라는 생각이 들기도 했습니다. 최종프로젝트 관련 회고록은 작성해서 주소 남겨두겠습니다. 위에 써놓은 것들은 전부 제 블로그에 내용이 있고, 관련 기술 구현 방식도 전부 링크 달아놓겠습니다. 너무 재밌게 한 프로젝트였고, 멘토링부터 반 분들과 협업하는 것도 너무 재밌었습니다.

https://dataengineerstudy.tistory.com/196

서울시 혼잡도 데이터를 활용한 안전·문화생활 통합 웹사이트

 

6개월을 마치며

---

음 이 6개월동안 사실 너무 재밌고 행복했다??라는게 요약입니다. 치열하게 살았던 것도 같은데, 데이터를 보면서 어떻게해야할지를 고민하고 있으니, 사실 재밌어서 더 열심히하게 된 것도 같습니다. 뭐 이것도 결국 제 완강 스토리고, 다시 새롭게 시작하는 마음으로 재시작해보겠습니다. 진짜 데이터엔지니어라고 명함에 찍힐 날까지 열심히해보겠습니다앗~~~~

 

앞으로 계획

---

• 7월 22일에 있을 코딩테스트 준비(2주 바짝 해볼 예정)
• 면접 컨설팅 이력서 준비 + 포트폴리오 정리
• 한기용 강사님 SPARK 강의 수강
• 면접 사진 찍기

엔지니어링트랙 20기 취뽀 화이튕