1. pip freeze pip freeze는 유저가 직접 다운로드한 패키지만 나옵니다. pandas를 위해 pip이 자동으로 설치한 패키지도 포함됩니다. 이걸 requirements.txt라는 파일에 저장할 수 있습니다. pip freeze > requirements.txt 이 때 이 파일을 공유합니다. 2. 가상환경을 공유 받는 입장에서 같은 가상환경을 만들어봅니다. mkdir user_2 cd user_2 mkdir data_science_project virtualenv --python=python3.7 data_science_env 그러면 가상환경의 인터프리터를 사용하고 있는데, requirments.txt를 다운로드 받은 과정에서, requirments.txt 파일들을 그대로 다운로드 받습니다..
파이썬 환경을 설정할 때 글로벌 환경을 사용하는 건 권장 되지 않습니다. 글로벌 환경을 쓸 수록, 같은 패키지를 공유할 수가 없기 때문에, 어떤 패키지가 특정 프로그램에 사용되었는지 알 수 없습니다. 또한 한 환경에서는 같은 패키지에 대해서 한 버전만 있을 수 있기 때문에, 글로벌 환경에서 패키지 버전을 일일히 바꿔줘야합니다. 가장 이상적인 파이썬 인터프리터와 패키지를 관리하는 것은 프로젝트마다 하나의 분리된 환경을 사용해야합니다. 한 컴퓨터나 시스템에서 프로젝트 단위로 고립시켜서 사용하는 것을 가상 환경입니다. 작동하는 원리는 글로벌 환경과 똑같습니다. 프로젝트마다 인터프리터를 만들고, pip과 site-packages를 만듭니다. 1. virtualenv로 가상환경 만들기 1. 글로벌 환경에 virt..
앞선 포스팅의 내용을 참고해주세요! https://dataengineerstudy.tistory.com/278 [파이썬 환경 FOR MAC] 5. 파이썬 버전 1. 파이썬 버전이란? 파이썬 언어와 인터프리터는 한 종류만 있는게 아닙니다. 일단 기본적으로는 python1, python2, python3이 있습니다. 그리고 세부적으로는 아래 버전이 있고, 도 아래 버전이 있습 dataengineerstudy.tistory.com https://dataengineerstudy.tistory.com/279 [파이썬 환경 FOR MAC] 6. 컴퓨터가 파이썬 인터프리터를 찾는 법 python3 hello_world.py PATH : 컴퓨터가 커맨드에 해당하는 프로그램을 검색하는 경로들 PATH 안에 있는 경로를 ..
이번 포스팅에서 다룰 내용은 Python Extension과 가상환경 관련 부분입니다. 0. 개념 정리 Homebrew (Brew): Homebrew는 macOS 및 리눅스 운영체제에서 패키지 관리를 위한 명령줄 도구입니다. 주로 운영체제 수준에서 소프트웨어나 패키지를 설치, 업데이트 및 관리할 때 사용됩니다. 예를 들어, Homebrew를 사용하여 Git, Python, Node.js 등을 설치하거나 관리할 수 있습니다. Pyenv: Pyenv는 여러 버전의 Python을 관리하고 프로젝트마다 다른 Python 버전을 사용할 수 있도록 도와주는 도구입니다. Pyenv를 사용하면 시스템 전체의 Python 버전을 관리할 수 있고, 필요에 따라 각 프로젝트마다 다른 Python 버전을 사용할 수 있습니다...
안녕하세요. 오늘은 MongoDB를 로컬에 설치하고, 파이썬에 연동해보겠습니다! https://www.mongodb.com/try/download/community Try MongoDB Community Edition Try MongoDB Community Edition on premise non-relational database including the Community Server and Community Kubernetes Operator for your next big project! www.mongodb.com 먼저 해당 사이트에 접속해서, 하단으로 내리시다보면 다운로드 받는 곳이 있습니다. 버전과 플랫폼을 확인 후 msi 형태로 다운로드 받아줍니다. 1. MONGO DB 로컬 설치 (1) 설..
경사하강법 여러 종류의 문제에서 최적의 해법을 찾을 수 있는 일반적인 최적화(Optimization) 알고리즘 손실(비용) 함수를 최소화 하기위해 반복해서 파라미터를 조정하는 것 선형 회귀의 경우 손실함수(MSE(평균오차제곱))을 최소화하는 파라미터 W1, W0에 대해 함수의 현재 기울기(그래디언트)를 계산한 후 기울기가 감소하는 방향으로 진행하고, 기울기가 0이 되면 최솟값에 도달한 것 비유 : 앞이 보이지 않는 안개가 낀 산을 내려올 때는 모든 방향으로 산을 더듬어 가면서 산의 높이가 가장 낮아지는 방향으로 한발 씩 내딛어 내려올 수 있다. 경사하강법의 장점 함수가 너무 복잡해 미분 계수를 구하기 어려운 경우 경사하강법을 구현하는게 미분 계수를 구하는 것보다 더 쉬운 경우 데이터 양이 너무 많아 효율..
conda에 wordcloud 설치하기 아나콘다 프롬프트를 켜고 다음의 명령어를 입력합니다. conda install -c conda-forge wordcloud 데이터 가공하기 DevType은 앞서 파악했듯 두개 이상의 값을 선택 할 수 있는 질문이었습니다. 복수 개의 값의 구분자는 세미콜론(;)입니다. 세미콜론을 공백으로, 또 콤마(,)도 공백으로 변경합니다. 즉 전체 문자열 내에 단어를 공백으로 구분하는 단 하나의 문자열을 만드려고 하고 있습니다. temp_words = survey_raw_df['DevType'].dropna() temp_words = temp_words.str.replace(';',' ').str.replace(',', &..
folium folum은 파이썬 라이브러리로 지도 데이터를 시각화하는데 아주 쉽게 도와줍니다 leaflet.js를 기반으로 만들어졌습니다. 지도에 마커를 표현하거나 범위를 나타내는 다양한 도형을 입력할 수 있습니다. conda에 folium 설치하기 아나콘다 프롬프트를 켜고 다음의 명령을 입력합니다. conda install -c conda-forge foloium folium 간단한 예제 우리가 현재 위치한 곳의 위도와 경도 정보입니다. 위도와 경도 각각을 latitude, longitude에 저장해봅시다. # 플레이데이터 독산 위도, 경도 latitude, longitude = (37.468251, 126.886212)해당 위도, 경도 정보를 바탕으로 지도에 표시해봅시다. 또 Marker를 달아 위치..
at 단 하나의 값에만 접근할 수 있게 설계된 인덱서 loc 다량의 자료에 접근하기 위해 설계된 인덱서 팁 단 하나의 자료에 접근할 때는 at을 쓰는 것이 속도가 훨씬 빠르다. 패스트 인덱싱이라고도 한다. 예제 #### at 사용하기 def split_multicolumn(Series): df = pd.DataFrame(False, columns = (Series.dropna().str.split(';').str[0].unique()), index = Series.index) for idx, rep in Series.str.split(';').items(): if isinstance(rep, list): for one in rep: df.at[idx, one.strip()] ..
np.nan 값이 섞인 Series 자료형에 대해 특정 문자 값이 포함되었는지 사용할 수 있는 메서드로 contains()가 있습니다. 첫 인자로 포함된 것을 찾을 문자열을 넣어줍니다. na 키워드 인수를 활용하면 NaN 값을 대신할 값을 넣을 수 있습니다. _공식문서_str.contains _공식문서 where 예제 survey_df.where(~survey_df['Gender'].str.contains(';', na = False), np.nan, inplace = True) 코드 설명 survey_df의 Gender 컬럼 중 ;를 포함하는 행 찾기(na의 경우에는 False 처리) 앞 선 메소드의 True로 반환된 값들을 False로 전환(비트 연산자 ~) where로 ..
