단순선형회귀

예를 들어 공부 시간과 시험 점수의 자료에 회귀선을 맞추면, 공부 시간이 늘어날 때 점수가 어떻게 변하는지 추정할 수 있다.^[3][4] 이때 독립변수는 공부 시간이고 종속변수는 시험 점수다. 두 변수 사이의 관계를 선 하나로 표현하려면 산점도에서 점들이 대체로 직선에 가까운 패턴을 보이는지 살펴볼 수 있다.^[1]

이 모형은 예측과 단일 변수의 효과 추정에 활용된다.^[2] 다만 추정된 관계를 해석할 때에는 기울기와 절편뿐 아니라 자료가 모형의 가정에 얼마나 부합하는지도 함께 살펴야 한다.^[1][2]

단순선형회귀의 기본식은 $y={\beta }_0+{\beta }_{1}x+\epsilon$이다. 여기서 $x$는 독립변수, $y$는 종속변수, ${\beta }_0$는 절편, ${\beta }_1$은 기울기이며 $\epsilon$은 오차항이다.^[4]

기울기 ${\beta }_1$은 공부 시간이 1시간 늘어날 때마다 시험 점수가 약 7.5점 증가하는 사례의 기울기를 나타낸다. 절편 ${\beta }_0$은 공부를 전혀 하지 않았을 때의 기대 점수로, 이 사례에서는 약 33.5점이다.^[4] 절편은 변수의 실제 범위와 맥락을 고려해 해석해야 한다.

최소제곱법은 관측값과 회귀직선이 예측한 값의 차이를 제곱해 모두 더한 뒤, 그 합이 가장 작아지는 직선을 선택한다.^[5] 실제 자료의 점들이 완벽히 한 직선 위에 놓이지 않을 때, 이 방법으로 자료를 대표하는 직선을 정할 수 있다.^[5]

공부 시간 $x$가 1, 2, 3, 4, 5시간이고 시험 점수 $y$가 40, 50, 55, 65, 70점인 사례에서는 기울기가 7.5, 절편이 33.5로 계산된다.^[4] 따라서 회귀식은 $y=33.5+7.5x$이며, 이 자료에 맞춘 식에서 공부 시간이 한 시간 늘 때 점수는 약 7.5점 증가하는 것으로 해석된다.^[4]

피어슨 상관계수 $r$은 두 수치형 변수 사이 선형 관계의 방향과 강도를 나타내며, 값은 $-1$에서 $1$ 사이에 놓인다. 절댓값이 0에서 멀수록 선형 관계가 강하고, 부호는 관계의 방향을 나타낸다.^[1]

상관분석은 관계의 방향과 강도를 요약한다. 회귀분석은 기울기와 절편을 추정해 한 변수의 값으로 다른 변수의 값을 예측하는 식을 만든다.^[1][3] 따라서 두 방법은 선형 관계를 다루지만, 회귀식은 예측값과 기울기의 해석을 직접 제공한다.

회귀분석에서는 무작위 표본과 서로 독립적인 관측값을 전제로 삼는다.^[1] 두 변수의 선형 관계는 산점도로 살펴볼 수 있으며, 잔차의 정규성과 예측변수 값에 따른 결과 분산의 일정성도 점검한다. 잔차 그림의 깔때기 모양 패턴은 분산이 일정하지 않을 가능성을 확인하는 단서가 된다.^[1]

결과를 보고할 때는 회귀계수의 p값과 효과 크기, 95% 신뢰구간, 독립변수가 설명하는 결과의 변동량을 함께 살펴볼 수 있다.^[2] 회귀계수는 관계의 방향과 크기를 보여 주지만, 그 해석은 자료와 모형의 가정에 함께 비추어야 한다.^[1][2]

• 최소제곱법
• 다중회귀분석
• 결정계수

^[1] Ssites.utexas.edu(새 탭에서 열림)

^[2] Bbookdown.org(새 탭에서 열림)

^[3] Sstatistics.laerd.com(새 탭에서 열림)

^[4] Ggongbaek.wiki(새 탭에서 열림)

^[5] Ggongbaek.wiki(새 탭에서 열림)