이번년도에는 원하는 직업이 본격적으로 생겼고, 제 생각보다 짧은 시간에 원하는 일을 이뤘습니다. 이 블로그를 이번년도 초에 개설한 걸로 기억하는데, 이제 일년이 다 되어가네요. 얼마 전쯤에 누적 방문 수가 1만회를 넘은 걸로 알고 있습니다. 뿌듯하기도 하지만, 이제 블로그를 옮기려고 합니다. 제 메모장처럼 작성하는 블로그인데, 마크다운이 지원이 잘 되지 않다보니, 작성할 때 생산성(?)에 문제가 생기는 기분이 들었다랄까요...? 무언가 스터디를 위한 제 메모장에 변화가 필요한 시기가 온 것 같습니다.
2023년 한 해는 크게 두 갈래로 나눌 수 있을 것 같습니다. 제가 데이터엔지니어가 되기 위해서, 학원을 등록하고 프로젝트를 했던 시간과 회사에서 기술로 비즈니스에 기여하게 된 시기입니다. 학원에 있던 시기에는, 취업을 위한 특정 기술을 배우는 데에 매진했던 것 같고, 회사에 와서는 이미 회사가 사용하고 있는 기술과 레포지토리들을 공부하는데에 매진 했던 것 같습니다.
회사에서의 전반적인 업무는 데이터 수집 업무, 그리고 수집한 데이터를 가지고 데이터 파이프라인을 만드는 작업들을 주로 하고 있습니다. 수집 과정에서 데이터의 유실을 막기 위한 코드 리팩토링이라던지, 데이터웨어하우스 내 데이터의 정제 작업들과 스케줄링, 그리고 자동화 프로그램 개발, 워크플로 개선, 소프트웨어 로그 개선 등 다양한 일을 경험할 수 있었습니다. 주로 사용하는 언어는 Javascript(Node.js), Python, SQL입니다.
기술적인 부분에서 가장 중요하게 생각했던 건, 첫번째로 데이터 수집 전용 인하우스 라이브러리에 대한 이해였고, 두번째로는 스노우플레이크와 데이터레이크(S3), 세번째로는 장고와 AWS 인프라 관련 기술들이였습니다. 특히 자체 제작한 소프트웨어에 대한 문제점들을 보고 하고 개선하면서, 조금 더 데이터를 소중(?)하게 다루게 되었습니다. 유실되는 데이터를 막기 위한 데이터레이크 관련 코드 리팩토링, 코드 문제로 인한 모니터링 시스템 일부 누락과 같은 문제들의 개선과, 스노우플레이크를 사용한 파이프라인 업무에 투입되어 진행하면서, 많은 것들을 생각해보고, 성장할 수 있는 기회였습니다.
제가 한 것들이 아닐지라도, 감명 깊었던 장면이 있었는데, 스노우플레이크 자체에 스트림릿을 사용하는 걸 직접 봤던 경험입니다. 데이터분석가 분이 수 많은 테이블의 데이터를 검증하기 위한 쿼리를 엔지니어에게 전달 했고, 정말 작은 시간을 들여서 대시보드를 만들었는데, UI가 예쁘지도 않고, 간단했지만 굉장히 효율적이였습니다. 제가 생각하는 쉽고 간단하게 사내 문제를 해결한 사례여서 기억에 많이 남습니다. 예전에 스트림릿으로 웹을 제작하는 식으로, 많이 사용했었는데 스트림릿이 회사 데이터웨어하우스 내에 달라붙어 있다니, 저에게는 큰 행운입니다.
요즘 눈독을 들이고 있는 레포지토리는 데이터 프로세싱 관련 레포지토리인데, EMR을 써서 대량의 데이터를 한번에 가공하고 처리하는 프로젝트입니다. Spark 관련해서 쉽게 개선할 수 있는 코드들이 많이 보였고, 결국은 메모리 문제와 실행시간 문제를 개선할 수 있을 것 같다는 느낌이 들었습니다. 이건 2024년의 저의 목표이기도 합니다.
하여튼 이런 일들을 했었고, 제 성취를 위해서 2024년의 기술적 목표는 이렇습니다.
- Snowflake 딥 다이브
- Spark 딥 다이브
- Django 딥 다이브
- 사내 데이터베이스 모델링 관련 이해 및 데이터 활용 이해
- 사내 데이터 수집 소프트웨어 개선
- 자동화를 활용한 사내 워크플로우 개선
- Docker, 쿠버네티스 딥 다이브 + 프로젝트
공부할 것들이 굉장히 많은데, 새로 도입되는 Airflow, DBT에 대한 이해도 필요할 것 같습니다. Airflow는 공부를 해본 경험이 있어서, 저에게는 익숙한 툴이기도 한데, EKS 환경에서 사용해본 적이 없어서 조금 더 공부가 필요할 것 같습니다. 그리고 DBT는 들어만 봤고, 사용해보진 못해서 시간이 남으면 한번 설치해서 경험해볼 예정입니다. 일단 사내에서 쓰는 툴에 대해서 정말 딥하게 공부해볼 예정입니다. 특히 스노우플레이크와 스파크를 중점으로!
얼마 전에 우아한 테크 세미나도 참석해서 들어봤는데, 내용을 얕게 설명해주시긴 했지만, 굉장히 시스템 인프라를 이해하는 데에 도움이 많이 되었습니다. 앞으로는 이런 세미나에 기술에 관한 지식이 없더라도, 기회가 생기면 꾸준히 참여해볼 예정입니다. 지금은 기술적으로 계속 공부하는 데에 몰두하고 있지만, 시간이 허락한다면 회사의 비즈니스 모델을 시스템 상에서 어떻게 구현했나에 대해서, 하나하나 뜯어서 볼 예정입니다.
이 외에는 주말에 하루는 항상 문화생활 즐기면서, 즐겁게 지내볼 계획입니다. 해외여행도 한번 더..? 아마 이 글이 이 블로그에서는 마지막일 것 같지만, 아래에는 제 다음 블로그를 나중에 첨부해두겠습니다. 그리고 하루에 한 시간 꼭 저녁에 공부하기!!! 이상입니다!
-> 벨로그 주소
https://velog.io/@wjddm3/posts
'일기' 카테고리의 다른 글
| 2023년 11월 회고록같은 자기반성 (1) | 2023.11.12 |
|---|---|
| 데이터엔지니어가 되고 나서 (2) | 2023.10.17 |
| Spark 공부하면서 쓴 일기 (0) | 2023.08.17 |
| 다시 시작하기 (4) | 2023.07.09 |
| 플레이데이터 데이터엔지니어링 트랙 완강 후기 (3) | 2023.07.03 |
