두번째 미니 프로젝트를 마치고 나서 쓰는 회고록입니다. 3일 정도의 시간동안 무사히 기획한 방향대로 진행하고, 프로젝트 평가 1위를 할 수 있게 해준 병창님, 경목님 모두 고생하셨습니다! 1. 프로젝트 소개 심장질환 AI 예측 대중이 쉽게 접근 가능한 심장질환 판별 및 발생 확률 제공 웹사이트를 제작하겠다는 목적으로 프로젝트를 진행했습니다. 데이터셋은 캐글의 Personal Key Indicators of Heart Disease 데이터를 활용해서, 다양한 머신러닝을 경험해보면서 웹사이트에 모델을 적용하는 방식으로 적용했습니다. https://www.kaggle.com/datasets/kamilpytlak/personal-key-indicators-of-heart-disease 진행기간 2023년 2월 ..
좋은 모델이란? 현재 데이터를 잘 설명하고 미래 데이터를 잘 예측하는 모델 복잡한 모델의 문제점 분산이 높고(고분산, 과대적합) 노이즈가 심하다 모델 규제 : 각 도립변수(특성)의 계수를 작게 만들어 과대적합을 감소시키는 것 다항식의 차수를 감소시키는 것 선형회귀인 경우 : 모델의 가중치를 제한 릿지, 라쏘, 엘라스틱넷 회귀 모델 규제(regularization) 규제의 정의 손실함수(비용함수)에 임의의(alpha) 값으로 페널티를 부여해 회귀 계수 값의 크기를 감소시켜 과적합을 개선하는 방식 규제(정규화)의 목표 회귀 계수의 크기(가중치)를 제어해 과적합을 개선 규제의 효과 및 해석 과적합(고분산)된 파라미터 값에 대해 규제(페널티)를 부여하게 됨(계수를 작게하거나 높임) 규제를 추가하게 되면 규제가 ..
경사하강법 여러 종류의 문제에서 최적의 해법을 찾을 수 있는 일반적인 최적화(Optimization) 알고리즘 손실(비용) 함수를 최소화 하기위해 반복해서 파라미터를 조정하는 것 선형 회귀의 경우 손실함수(MSE(평균오차제곱))을 최소화하는 파라미터 W1, W0에 대해 함수의 현재 기울기(그래디언트)를 계산한 후 기울기가 감소하는 방향으로 진행하고, 기울기가 0이 되면 최솟값에 도달한 것 비유 : 앞이 보이지 않는 안개가 낀 산을 내려올 때는 모든 방향으로 산을 더듬어 가면서 산의 높이가 가장 낮아지는 방향으로 한발 씩 내딛어 내려올 수 있다. 경사하강법의 장점 함수가 너무 복잡해 미분 계수를 구하기 어려운 경우 경사하강법을 구현하는게 미분 계수를 구하는 것보다 더 쉬운 경우 데이터 양이 너무 많아 효율..
다중선형회귀 단순 선형 회귀에서 독립변수의 개수만 늘어난 것이다. 따라서 단순 선형 회귀와 동일한 절차를 이용하여 분석을 수행할 수 있다. 단, 독립 변수의 수가 많아지므로 이로 인해 발생할 수 있는 경우들을(과적합) 고려해서 적절한 조치를 취해야한다 독립변수들의 최초 선택(feature_engineering > feature_selection) 회귀분석의 목적: 종속 변수를 가장 잘 설명하는 독립변수들의 성향/특징들을 찾아내어 이를 기반으로 기존의 자료를 설명하거나 새로운 결과를 예측하는 것 독립변수를 임의로 누락시키는 것은 해당 모델의 설명력이 낮아지는 문제 회귀 분석을 수행하는 경우, 관련 있는 독립변수는 일단 가급적 모두 고려 탐색적 데이터 분석(Exploratory Data Analysis) 수..
회귀(Regression) 시초: 19C 통계학자 프랜시스 골턴Francis Galton, 키가 큰 사람의 아이가 부모보다 더 크지 않다는 사실을 관찰하고, "평균으로 회귀한다"는 표현을 사용 데이터의 값은 평균과 같은 기존의 경향으로 돌아가려는 경향이 있다는 것 여러 변수들 간의 상관 관계를 파악하여 어떤 특정 변수의 값을 다른 변수들의 값을 이용하여 설명, 예측하는 수리식을 찾는 방법 회귀식을 찾는 것 회귀분석의 유형 변수의 개수 및 계수의 형태에 따라 구분한다 독립 변수의 개수에 따라 단순회귀분석: 독립변수가 1개인 경우, 단일 회귀분석이라고도 함. 다중회귀분석: 독립변수가 여러 개인 경우 회귀 계수의 형태에 따라 선형: 계수를 선형 결합으로 표현할 수 있는 경우 비선형: 계수를 선형 결합으로 표현..
