[기초 통계학] 회귀 분석

1. 회귀 분석의 정의

하나나 그 이상의 독립변수들이 종속변수에 미치는 영향을 추정할 수 있는 통계기법.

변수들 사이의 인과관계를 밝히고 모형을 적합하여 관심있는 변수를 예측하거나 추론하기 위한 분석방법

독립변수의 개수가 하나이면 단순선형회귀분석, 독립변수가 두 개 이상이면 다중선형 회귀 분석으로 분석 할 수 있다.

 

2. 회귀분석의 변수

영향을 받는 변수(y) : 반응변수, 종속변수, 결과변수

영향을 주는 변수(x) : 설명변수, 독립변수, 예측변수

 

3. 선형회귀분석의 가정

가. 선형성

입력변수와 출력변수의 관계가 선형이다.(가장 중요한 가정)

나. 등분산성(같을 등)

오차의 분산이 입력변수와 무관하게 일정하다. 산점도를 활용하여 잔차와 입력 변수간에 아무런 관련성이 없게 무작위적으로 고루 분포되어야 등분산성 가정을 만족하게 된다.

다. 독립성

입력변수와 오차는 관련이 없다. 자기상관(독립성)을 알아보기 위해 Durbin-Waston 통계량을 사용하며 주로 시계열 데이터에서 많이 활용한다.

라.정규성(정상성)

오차의 분포가 정규분포를 따른다. Q-Qplot, Kolmogolov-Smirnov검정등을 활용하여 정규성을 확인

 

4.잔차도를 통한 선형회귀분석의 가정 검토

가. 선형성

선형회귀 모형에서는 왼쪽의 그래프와 같이 설명 변수(x)와 반응변수(y)가 선형적 관계에 있음이 전제 되야한다.

나. 등분산성

설명변수에 대한 잔차의 산점도를 그렸을 때, 왼쪽의 이미지와 같이 설명변수값에 관계없이 잔차들의 변동성

(오차 혹은 분산)이 일정한 형태를 보이면 선형회귀분석의 가정 중 등분산성을 만족한다고 볼 수 있다.

오차와 입력변수간에 아무런 관련성이 없게 무작위적으로 고루 분포되어야한다.

다. 등분산성을 만족하지 못하는 경우

라. 정규성

Q-Q Plot을 출력했을 때, 아래 그림과  같이 장차가 대각방향의 직선의 형태를 지니고 있으면 잔차는 정규분포를 따른다고 할 수 있다.

5. 회귀분석에 따른 가정에 대한 검증

• 단순회귀 분석 : 입력변수와 출력변수간의 선형성을 점검하기 위해 산점도를 확인한다.
• 다중선형회귀 분석 : 선형회귀분석의 가정인 선형성, 등분산성, 독립성, 정규성이 모두 만족하는지 확인해야한다.