선형 회귀

독립변수가 하나인 경우는 단순 선형 회귀, 여러 개인 경우는 다중 선형 회귀라고 한다. 예를 들어 운동 시간과 혈압의 관계를 살피는 것은 단순 회귀의 사례이며, 지역의 교사 수·소득·영어 학습자 비율·컴퓨터 수로 평균 수학 점수를 설명하는 것은 다중 회귀의 사례다.^[1][3]

이름의 ‘선형’은 모형이 계수에 대해 선형이라는 뜻이다. 예측변수 자체는 제곱하거나 다른 예측변수와 곱하는 식으로 변환할 수 있으므로, 이런 모형도 예측변수와 반응변수 사이의 비선형 관계를 나타낼 수 있다.^[2]

다중 선형 회귀의 모집단 모형은 $y_i={\beta }_0+{\beta }_1{x}_{i,1}+\cdots +{\beta }_k{x}_{i,k}+{ϵ}_i$로 쓸 수 있다. 여기서 $y_i$는 반응변수, $x_{i,j}$는 예측변수, ${\beta }_0$는 절편, ${\beta }_j$는 각 예측변수의 계수이며 ${ϵ}_i$는 오차항이다.^[2]

선형성은 예측변수와 반응변수의 관계가 반드시 직선이어야 한다는 뜻이 아니라 계수에 대해 선형이라는 뜻이다. 따라서 예측변수를 제곱하거나 두 예측변수를 곱한 항도 모형에 포함할 수 있으며, 계수와 변환된 변수의 곱을 더하는 구조는 유지된다.^[2]

평균 수학 점수를 반응변수로 놓고 교사 수, 지역 평균 소득, 영어 학습자 비율, 컴퓨터 수를 예측변수로 넣는 모형을 생각할 수 있다. 이때 각 변수의 측정 단위와 정의를 구분해야 계수의 의미를 읽을 수 있다. 예를 들어 해당 사례에서 소득은 천 달러 단위로 표현된다.^[1]

다중 회귀에서 각 계수는 다른 예측변수들을 고정했을 때 해당 예측변수가 한 단위 증가하면 평균 반응이 얼마나 변하는지를 나타낸다. 따라서 계수는 그 변수와 반응변수의 단순한 동행만이 아니라, 모형에 함께 들어간 다른 예측변수를 고려한 변화로 해석된다.^[2]

절편은 모든 예측변수가 0일 때의 평균 반응을 뜻한다. 그러나 예측변수가 모두 0인 상황이 실제로 가능하거나 의미 있는지는 맥락에 따라 다르므로, 절편이 언제나 실질적인 기준값인 것은 아니다.^[2]

단순 회귀식 $Y=a+bX$에서는 $b$가 기울기이며, $X$가 한 단위 증가할 때 $Y$가 얼마나 변하는지를 나타낸다. 운동 시간과 혈압을 예로 들 수 있지만, 이 식만으로 관찰된 관계가 원인과 결과를 입증한다고 단정할 수는 없다.^[3]

최소제곱법은 관측된 반응값과 모형이 산출한 예측값 사이의 차이를 이용해 계수를 추정한다. 단순 회귀 구현 예시에서는 기울기를 독립변수와 종속변수의 평균 중심 편차 곱의 합을 독립변수 편차 제곱합으로 나누어 계산한다.^[4]

같은 예시에서 절편은 종속변수의 평균에서 기울기와 독립변수 평균의 곱을 뺀 값으로 구한다. 추정된 기울기와 절편을 $y=wx+b$ 형태에 넣으면 회귀식을 만들 수 있고, 새 입력값 $x$에 식을 적용해 반응값을 예측할 수 있다.^[4]

예를 들어 제시된 코드에서는 키와 몸무게 자료로 계수를 구한 뒤, 새로운 키 값을 식에 넣어 몸무게 예측값을 계산한다. 이 절차는 계수 추정과 예측의 흐름을 보여 주며, 예측값의 정확성 자체를 보장하지는 않는다.^[4]

결정계수 $R^2$는 반응변수의 전체 변동 중 모형이 설명하는 비율을 나타내는 적합도 지표다. 제시된 수학 점수 사례에서 $R^2=0.6298$이므로, 포함된 네 예측변수가 해당 데이터의 평균 수학 점수 변동 가운데 62.98%를 설명한다.^[1][2]

다중 회귀 결과표의 유의성 값은 각 예측변수가 모형에서 통계적으로 유의한 예측변수인지 살펴보는 데 쓰인다. 해당 사례에서는 소득과 영어 학습자 비율이 유의수준 0.05에서 유의했고, 교사 수와 컴퓨터 수는 유의하지 않은 것으로 보고되었다.^[1]

$R^2$는 예측변수를 추가하면 감소하지 않으며, 반응변수와 관련이 없는 변수를 넣어도 증가할 수 있다. 따라서 $R^2$만으로 어떤 변수를 포함하거나 제외할지 결정할 수 없고, 함께 제시된 조정 $R^2$는 포함된 예측변수의 수를 고려한다.^[1][2]

• 단순 선형 회귀
• 다중 선형 회귀
• 최소제곱법
• 결정계수
• 잔차

^[1] Rresearch.library.gsu.edu(새 탭에서 열림)

^[2] Oonline.stat.psu.edu(새 탭에서 열림)

^[3] Wwww.coursera.org(새 탭에서 열림)

^[4] Vvelog.io(새 탭에서 열림)