5] 연속형/범주형 변수 - 연속형 변수

- 상관분석: 상관관계의 정도를 보기

- 회귀분석: 식을 구하여 값을 예측하기

 

1. 피어슨의 상관분석(Pearson's correlation analysis)

- 두 변수가 모두 연속형 이면서, 적어도 하나는 정규성을 만족할 때

- 상관계수(r, coefficient of correlation)는 -1 ~ +1의 값을 가짐. 0이면 무관.

(절댓값 r : 0~0.1(거의 무시될 수 있는 관계), 0.1~0.3(약한 관계), 0.3~0.7(뚜렷한 관계), 0.7~1.0(강한 관계)) 

- r^2은 한 변수를 알 때 다른 변수값을 얼마나 정확하게 예측할 수 있나 설명력을 의미. r^2=1이면 100%로.
(뒤의 회귀분석에서 나오는 결정계수 R^2과는 종종 다른 값임!! )

- 편상관계수(partial correlation)는 셋 이상의 변수들일때, 두 변수간의 순수한 연관성 정도를 의미.

 

0) 산점도 확인

국민건강영양조사(2022)에서 3대영양소 섭취량들 간의 연관성을 보고자 한다. 단백질 섭취량과 지방 섭취량 간에 양의 상관관계가 의심된다.

 

1) 상관계수 확인

단백질 섭취량과 지방 섭취량의 상관계수는 +0.728로, 0.7보다 높은 '강한' 상관이다. 통계적으로도 유의한가 파악해야 하는데 유의확률이 <0.05로 통계적으로도 유의하다.

 

2) 편상관계수 확인

탄수화물 섭취량이 일정하다고 할때, 단백질 섭취량과 지방 섭취량의 순수한 상관을 본다. 상관계수 0.683은 0.7보다 낮기에 '강한' 상관은 아니지만 0.3보다는 높기에 '뚜렷한' 상관이라 볼 수 있다. 통계적 유의확률은 <0.05로 통계적으로도 유의하다.

 

 

2. 스피어맨의 순위상관분석(Spearman's rank correlation analysis)

- 두 변수가 모두 정규성을 만족하지 못하는 연속형이거나, 적어도 하나는 순위척도 일때

- 두 변수 각각의 순위를 매긴 후, 그 순위차를 이용함.

- 선형적 관련성을 추정하는게 아니라, 선형이든 비선형이든 한 변수가 증가할떄 다른변수도 증가하냐만 봄

---

3. 단순회귀분석(simple linear regression)

- 두 변수 사이의 선형관계를 규명

- 회귀모형(regression model, 회귀식): y = a + b*x

- 회귀계수(regression coeffecient): 절편(intercept) a, 기울기(slope) b

- 결정계수(R^2)는 총 변동 중 회귀식에 의해 설명될 수 있는 변동. 단순회귀분석에서는 상관계수 제곱과 값이 같다.

- 잔차는 '표본집단'에서의 관측값과 예측값 차이, 오차항은 '모집단'에서의 관측값과 예측값 차이를 말함.

 

0-1) 산점도를 이용해 선형성 확인

앞서 확인한 단백질 섭취량과 지방 섭취량 사이의 연관식을 구하고자 한다. 우선, 포물선이 아니라 선형의 관계가 있는지 눈으로 확인하자

 

0-2) 정규 P-P곡선을 이용해 오차항의 정규성 확인

관측된 확률에 거의 근접하여(?) 증가하고 있으므로 정규성을 보여주고 있다.

 

0-3) 잔차산점도를 이용해 오차항의 독립성, 오차항의 등분산성 확인

잔차들이 일정한 규칙을 갖지 않고(?) 랜덤하게 산재되어 있으므로 독립성과, 등분산성을 만족한다. 만일, 일정한 규칙이 관찰된다면 이에 대한 설명이 필요하다.

 

1) 분산분석표(F 검정)을 이용해 회귀식(y=a+b*x)의 유의성 검정

회귀식으로 53.1%만큼 설명할 수 있으며, 이 회귀식은 통계적으로도 유의하다(p<0.05)

 

2) T분포를 이용해 회귀계수(b)의 유의성 검정

- 단순회귀분석에서는 회귀식 검정과 회귀계수 검정이 실제로 같은 과정이다. (단, 다중에서는 필수적이다)

회귀계수(b)는 0.684이며, 통계적으로 유의하다(p<0.05). 절편(a)은 0.972이다. 최종적으로는, 지방 섭취량 = 단백질 섭취량*0.684 + 0.972이다.

 

 

4. 다중회귀분석(multiple linear regression)

- 여러 변수 사이의 선형관계를 규명

- 수많은 변수들 중 통계적으로 유의미한 변수들만 선택하는 방법은 다양하지만, 주로 '단계선택법'을 사용

(유의확률이 0.05보다 낮은 변수를 모형에 투입. 그때마다 유의확률이 0.1보다 큰 변수를 제거. 이를 반복하는 로얄럼블)

 

- 독립변수들은 서로 완전한 독립이 아닐 수 있다. 즉, 교란변수(혼란변수, confounding)를 고려해야 한다.

- 두 변수가 너무 밀접하게 연관되어 있으면, 다중공선성(multicollinearity)이 존재하는 변수라고 부른다.

- 다른 변수들에 의해 설명될 수 있는 불필요한 변수는 분산과 유의확률만 키울뿐이다.

- 분산팽창요인(VIF, variance inflation factor)은 분산이 팽창된 정도로, 10이상이면 다중공선성이 있다고 간주

 

- 독립변수들 간의 b_1, b_2 등을 크기로 단순비교해서는 안된다. 단위가 다르기 때문에, 표준화 회귀계수로 비교.

- R^2은 독립변수가 추가될수록 값이 커져버린다. 이를 조정한 것이 '수정된 결정계수 R^2_adj'이다.

 

0-1) 정규 P-P곡선을 이용해 오차항의 정규성 확인

국민건강영양조사(2022)에서 에너지 섭취량을 예측하기 위해 여러가지의 변수를 넣어보기로 한다.

0-2) 잔차산점도를 이용해 오차항의 독립성, 오차항의 등분산성 확인

 

1) 단계선택법 과정 확인

(Durbin-Watson 통계량 역시 오차 독립성을 보는 지표. 2보다 작으면 자기상관(이웃하는 잔차들간의 연관성)이 없다고 봄)

에너지 섭취량을 예상하기 위해 10개의 독립변수를 넣고 돌렸는데, 단계 선택법은 모두 포함시킨 10단계에서 종결되었다. 10단계의 식은 94.3%만큼 설명할 수 있다. 변수가 너무 많은 것 같으니, 적당히 R^2을 키워주는 3단계에서 끊어도 될듯하다.

 

2) 분산분석표(F 검정)을 이용해 회귀식의 유의성 검정

회귀식은 통계적으로도 유의하다(p<0.05)

 

3) T분포를 이용해 회귀계수들(b_1, b_2 등)의 유의성 검정

회귀계수들은 통계적으로도 유의하다(p<0.05). 하지만, VIF가 10이상인 변수들이 존재했으며, 이는 다중공선성이 있다는 것을 의미한다. 다중공선성이 나타나지 않는 5단계 이하로 다시 검정을 반복하자.

위의 과정들을 거치며 통계적 유의성은 확인하였다. 변수를 단 3개만 포함하여 시행한 결과 VIF가 10이상인 변수는 없어 다중공선성이 없음을 확보했다. 통계적으로도 유의하다. 최종식은 다음과 같다. 에너지 섭취량 = 탄수화물 섭취량*3.7 + 단백질 섭취량*6.054 + 지방섭취량*9.059 - 상수 5.597

- 이론적으로 탄수화물과 단백질은 4kcal/g, 지방은 9kcal/g으로 알고있었다.

- 하지만 통계적으로 탄수화물은 3.7kcal/g, 단백질은 6kcal/g가 나온것이 신기하다.