프로젝트 당시 S3toRedshiftOperator 사용시 생겼던 문제에 관한 기록입니다.
https://dataengineerstudy.tistory.com/194
[AWS REDSHIFT] AIRFLOW S3 → Redshift UPSERT 관련 에러('syntax error at or near "#"')
먼저 이 글은 저와 같이 REDSHIFT를 AIRFLOW와 연동해서 쓸 때 생기는 문제에 관한 글입니다. 문서가 너무 없고, 저만 겪는 상황 같아서, 열심히 삽질한 결과 작성해놓습니다. 이 글을 읽어보실 분들
dataengineerstudy.tistory.com
당시 문제점들을 기록해놨고, 해당 문제를 airflow 공식 github에 문의한 상태입니다. 임시로 해결해놨지만, 정말 임시로 해결한 문제 같아서, 일단 문의한 곳 링크 첨부합니다!
https://github.com/apache/airflow/discussions/32542
Has anyone experienced errors with Redshift Cluster when using delimited identifiers with the S3ToRedshiftOperator? · apache/ai
Airflow Version : 2.5.1 Redshift : Cluster(not Serverless) I believe that Redshift now requires the use of delimited identifiers. If I don't use delimited identifiers in the "upsert" method of the ...
github.com
최근 Redshift에서 구분식별자를 강제한건지는 모르겠지만, 이전 버전에는 문제가 없었어서 답변이 어떻게 올지는 모르겠습니다! 일단 답변 기다려보겠습니다.
------------ 8월 1일 기록 -------------------
그저 구분 식별자가 강제 된 건, 예약어를 스키마 이름으로 사용했기 때문이였고.... 내 스키마 명은 "raw"였다...
https://dataengineerstudy.tistory.com/194
[AWS REDSHIFT] AIRFLOW S3 → Redshift UPSERT 관련 에러('syntax error at or near "#"')
먼저 이 글은 저와 같이 REDSHIFT를 AIRFLOW와 연동해서 쓸 때 생기는 문제에 관한 글입니다. 문서가 너무 없고, 저만 겪는 상황 같아서, 열심히 삽질한 결과 작성해놓습니다. 이 글을 읽어보실 분들
dataengineerstudy.tistory.com
'데이터 노하우 > 꿀팁' 카테고리의 다른 글
| 빅데이터 처리 프로세스 (0) | 2023.04.04 |
|---|---|
| Pandas 데이터 처리 효율성 전략(Pycon Korea) (2) | 2023.02.21 |
| Scaling 꿀팁 + 과적합 쉬운 비교 방법 (0) | 2023.02.10 |
