문항반응이론(IRT)은 관찰하기 어려운 능력이나 태도 같은 잠재 특성과 문항에 대한 응답 사이의 관계를 수학적 모형으로 나타내는 검사 이론이다. 검사에 포함된 문항의 성질과 응답자의 잠재 특성을 함께 다루며, 응답자가 해당 문항에 정답을 하거나 높은 응답을 할 확률이 잠재 특성 수준에 따라 어떻게 달라지는지 분석한다.[4][7]
1. 개요
2. 문항반응이론의 기본 가정과 모형
일차원 문항반응모형은 문항들이 하나의 지배적인 잠재 특성을 측정한다고 본다. 잠재 특성은 직접 관찰할 수 없으며, 문항에 나타난 응답이나 수행 결과와 연결해 분석한다.[4]
문항 모형은 반영하는 모수의 수에 따라 구분된다. 1모수 모형은 문항 난이도를, 2모수 모형은 난이도와 변별도를, 3모수 모형은 여기에 낮은 능력에서도 정답이 나올 가능성을 나타내는 문항추측도를 포함한다.[2][7][8]
모든 응답이 정답·오답처럼 두 범주로 나뉘는 것은 아니다. 학업동기 척도 분석 사례에서는 ‘매우 동의’부터 ‘매우 동의하지 않음’까지의 서열형 응답을 다루기 위해 graded response model을 적용했다.[6]
3. 문항특성곡선과 문항모수
문항특성곡선은 잠재 특성 수준에 따라 특정 응답을 할 확률이 어떻게 달라지는지 나타낸다. 정답 여부가 이분형인 문항에서는 정답 확률을, 여러 응답 범주를 가진 문항에서는 범주별 응답 확률을 살펴볼 수 있다.[2][7]
난이도 모수는 곡선의 위치와 관련된다. 예를 들어 2모수 로지스틱 모형에서 난이도는 정답 확률이 0.5가 되는 잠재 특성 수준으로 설명되며, 난이도가 낮은 문항은 같은 능력 수준에서 상대적으로 정답 확률이 높다.[7]
변별도 모수는 잠재 특성의 차이에 따라 응답 확률이 얼마나 급격히 달라지는지를 나타낸다. 3모수 모형의 추측도는 능력이 매우 낮은 응답자도 우연히 정답을 맞힐 가능성을 반영하며, 선택지 수뿐 아니라 오답지의 매력도와 문항 분석에 따라 추정될 수 있다.[7][8]
4. 문항 및 능력 모수의 추정과 불변성
문항반응이론 분석에서는 문항의 특성을 나타내는 모수와 응답자의 능력을 나타내는 모수를 추정한다. 문항 모수 추정과 피험자 능력 추정은 각각 별도의 분석 주제로 다뤄진다.[2]
문항 특성과 능력의 불변성은 서로 다른 검사 결과를 공통 척도에서 비교하고 연결하는 데 쓰이는 전제다. 경기기초학력종단연구에서는 이 관점을 바탕으로 학년별 검사를 연결하는 수직척도를 개발했다.[4][5]
이 연구는 2모수 로지스틱 모형으로 학년별 문항 모수를 추정하고, Stocking–Lord 특성곡선 방법으로 척도를 연계했다. 공통 문항이 없는 상황에서는 동일 학생이 두 학년 검사를 모두 응시하는 설계를 활용했으며, 초등학교 2~4학년의 문식력과 수리력 결과를 공통 척도에 배열했다.[5]
5. 정보함수와 측정 정밀도
문항정보함수와 검사정보함수는 잠재 특성의 특정 수준에서 문항이나 검사 전체가 제공하는 측정 정보를 나타낸다. 따라서 검사 점수의 정밀도는 모든 능력 수준에서 같다고 가정하기보다, 어느 수준에서 정보가 많이 제공되는지를 살펴볼 수 있다.[2][7]
학업동기 척도 분석 사례에서는 문항정보곡선과 척도정보곡선에 더해 조건부 표준오차와 조건부 신뢰도 곡선을 확인했다. 이러한 그래프는 잠재 특성 수준에 따라 문항과 척도의 측정 특성이 어떻게 달라지는지 보여준다.[6]
2모수 모형에서 능력 수준이 문항 난이도와 일치할 때 문항 정보는 변별도 제곱에 비례한다. 즉 같은 난이도 수준에서 변별도가 큰 문항은 해당 능력 구간의 측정에 더 많은 정보를 제공할 수 있다.[7]
6. 검사 분석과 적용 사례
문항반응이론 분석은 모형과 개별 문항이 자료에 얼마나 잘 맞는지 평가하고, 각 문항이 잠재 특성과 실질적으로 연결되는지 살펴보는 데 활용된다. 학업동기 척도 사례에서는 문항과 척도의 특성을 여러 그래프로 확인하고, 모형 적합도와 문항 적합도를 평가했다.[6]
해당 사례에서 학업동기 척도는 분석된 적합도 지표가 수용 가능한 수준이었고, 각 문항은 잠재 특성과 관련이 있는 것으로 보고됐다. 문항의 기울기 모수는 응답자의 미래 지향성 수준 차이를 구별하는 정도를 나타내는 데 사용됐다.[6]
실험 정신병리 연구에서는 정신증이 있는 사람과 건강한 성인의 시각 작업기억을 평가하는 컴퓨터화 인지 과제에 문항반응모형을 적용하는 방안을 살펴봤다. 이 연구는 일차원 인지 평가 과제의 측정 정밀도를 평가하고 개선하는 방법과, 과제 시행 효율을 높이기 위한 컴퓨터화 적응검사 활용 가능성을 논의했다.[3]
7. 관련 문서
- 고전검사이론
- 문항특성곡선
- 문항난이도
- 문항변별도
- 문항추측도