오늘은 친구랑 얘기하다가 나온 김에 Redis와 AWS ElasticCache에 대해 정리해보겠습니다. 먼저 가장 쉽게 이해하게 됐던 말입니다. Redis는 인메모리 데이터베이스로 게임의 인벤토리 같이 실시간으로 데이터를 쥐고, 데이터를 읽거나 써야하는 경우 자주 사용한다 Redis Redis는 데이터베이스 캐싱, 실시간 분석, 메시징 시스템, 세션 관리, 잠금 관리 등 다양한 사용 사례에 널리 사용되고 있습니다. 뛰어난 성능: Redis는 인메모리 데이터베이스로 작동하므로 데이터를 디스크에 저장하는 대신 메모리에 저장합니다. 이로 인해 매우 빠른 읽기 및 쓰기 성능을 제공하며, 데이터 액세스에 대한 지연 시간을 크게 줄일 수 있습니다. 또한 Redis는 단일 스레드로 작동하여 락 관리 오버헤드를 줄이고..
먼저 이 글은 저와 같이 REDSHIFT를 AIRFLOW와 연동해서 쓸 때 생기는 문제에 관한 글입니다. 문서가 너무 없고, 저만 겪는 상황 같아서, 열심히 삽질한 결과 작성해놓습니다. 이 글을 읽어보실 분들의 조건은 다음과 같습니다. 1. 에러 상황 (1) Redshift Cluster 사용 (2) Delimited identifiers를 사용하지 않으면, Syntax Error가 발생하는가? (3) Airflow S3ToRedshiftOperator를 사용해서, UPSERT 방식으로 데이터를 redshift에 로드하려고 하는가? (4) Schema, Table 명을 Delimited identifiers를 사용해서 구성했는가? 여기까지 오셨으면 저랑 같은 상황입니다.. 일단 웹에 관련 정보는 없어서 ..
안녕하세요. 오늘은 DOCKER를 활용해서 딥러닝 모델이 포함된 이미지를 만들고, 이미지를 통해서 AWS LAMBDA로 매번 호출해보겠습니다. 이번에 프로젝트에서 사용되는 로직은 다음과 같습니다. DB에 있는 리뷰 데이터(restaurant_review 테이블) 호출 리뷰 데이터를 자연어 처리를 통해서 긍/부정 이진 분류 긍정 값으로 분류된 확률 값(0 ~ 1 사이)을 새로운 컬럼으로 생성 restaurant_id를 기준으로 긍정 확률 평균값 생성 해당 평균 값에 5를 곱해서, 5점 만점의 리뷰 포인트 집계된 데이터를 restaurant 테이블의 star_rating 컬럼에 업데이트 하루에 한번씩 실행 이런 로직을 고민하고 만든 이유는, 최근 많은 사이트에서, 별점에 대한 신뢰성이 떨어진다는 여론과 이걸..
이전 포스팅에 이어서, 직접 S3에서 버킷을 생성해보고, 접근 권한을 퍼블릭으로 전환한 뒤, 로컬 환경에서 S3에 JSON 파일을 GET, POST 해보는 방법을 포스팅해보겠습니다!! 버킷 생성(권한 : 퍼블릭 액세스) (1) 먼저 S3 사이트에 접속하고 버킷 만들기를 클릭합니다. (2) 버킷 이름은 전역 고유기 때문에, 잘 작성해주시고, 리전을 선택하신 뒤 넘어갑니다. (3) 이 부분을 액세스 차단을 해제해줍니다. 퍼블릭 액세스 관련 옵션인데, 퍼블릭 액세스를 켜려면 이 부분을 해제 해주셔야합니다. (4) 다른 옵션은 그대로 두고, 버킷을 만듭니다. (5) 일단 버킷을 생성하면, 저 부분이 퍼블랙 액세스 가능이 아니라, 퍼블릭 액세스 가능하게 할 수 있음?? 이렇게 적혀 있을 겁니다. 저희의 목표는 퍼..
본 포스팅은 유튜브 AWS 강의실 님의, 강의를 바탕으로 작성되었습니다. https://www.youtube.com/watch?v=LazOCTfdSeQ&list=PLfth0bK2MgIan-SzGpHIbfnCnjj583K2m&index=21 S3 S3는 SIMPLE STORAGE SERVICE로, S 3개를 포함해서 S3라고 부릅니다. S3는 99.999999999%(eleven nine) 내구성을 제공합니다. 전 세계 기업의 수백만 애플리케이션을 위한 데이터를 저장합니다. 이는 객체 스토리지 서비스로, 파일을 저장하기 위해서 사용됩니다. 단 S3는 이런 특징을 가집니다. 애플리케이션 설치 불가능 글로벌 서비스 단, 데이터는 리전에 저장 데이터가 해당 리전을 나가지 않아야합니다. 무제한 용량 하나의 객체는..
1. SESSION 클릭 2. 정보 입력 AWS EIP : AWS 콘솔 - EC2 - 인스턴스 메뉴 들어가서 접속하고자 하는 탄력적 IP 주소 작성하시면 됩니다. USERNAME : 보통 ubuntu 혹은 ec2-user입니다. 확인 후 작성하시면 됩니다. pem 파일 경로 : pem 파일 경로를 붙여줍니다. 가끔 권한 문제가 발생하면 pem 파일의 권한을 600으로 맞추면 해결됩니다. 3. 접속 확인
1. VSCode Remote-ssh 설정 VSCODE의 EXTENSION에서 Remote Development를 설치합니다. Remote Development 기능은 각각 SSH, Containers, WSL 3가지 옵션이 있는데, 이번에는 SSH를 사용해서 EC2 인스턴스에 VSCODE를 연결해보겠습니다. 2. Remote-SSH Configuration 설정 Vscode에서 F1키를 누른 뒤, configuration을 검색하고, Remote-SSH:Open Configuration File을 선택합니다. 이후 ssh configuration 파일을 이렇게 수정하면 됩니다. HOST : 원격 서버 접속 시, VSCODE에서 보일 이름입니다. 아무렇게나 지으셔도 됩니다. HOSTNAME : EIP(E..
