GME > IRT이론

IRT 이론 Item Response Theory

평가 문항의 적절성을 분석하고, 평가 문항이 기능을 제대로 수행하고 있는지 확인하는 것을 문항분석이라 하며(Embretson & Reise, 2000), 문항분석을 위한 이론은 크게 고전검사이론과 문항반응이론으로 나뉩니다.
정답률에 의해 평가 문항이 분석되는 고전검사이론의 경우, 시험에 응시한 학생의 시험 결과 자료를 이용하여 문항난이도를 계산하는 방식으로써 동일한 문항이라도 응시생 집단의 능력 수준에 따라 문항의 난이도가 상대적으로 측정되는 한계가 있을 수 있습니다(Robert, 2006).

그러나 확률적 모형식을 통해 문항모수 및 학생능력수준의 추정이 이루어지는 문항반응이론은 응시생 집단의 특성에 영향을 받지 않기 때문에 고유한 문항 난이도와 변별도 및 학생의 능력을 산출할 수 있는 특징이 있습니다(Hambleton, 1985; Embretson & Reise, 2000).

즉, 문항반응이론에 따르면 어느 문항이나 고유의 특성이 있어 수험생 집단이 다르더라도 문항의 특성은 바뀌지 않고, 마찬가지로 수험생도 고유의 능력이 있어 문항 특성에 따라서 그 능력지수가 바뀌지 않습니다. 이러한 이유로 TIMSS나 PISA와 같은 국제 평가기구에서는 문항반응이론을 기반으로 평가 분석을 진행하고 있으며, GME 수학평가원 역시 문항반응이론을 기반으로 독자 개발한 G.스코어를 통해 학생능력 및 문항의 난이도를 제시하고 있습니다.

고전검사이론과 문항반응이론
  • 고전검사이론

    피험자들의 응답을 문항별로 채점한 후 총점에 의하여 문항을 분석하는 검사 이론

  • 문항반응이론

    총점이 아닌 문항마다의 특유한 문항특성곡선(ICC)에 의하여 분석하는 검사 이론

  • 고전검사이론과 문항반응이론 비교
문항특성곡선 (Item Characteristic Curve)

문항특성곡선(Item Characteristic Curve: ICC)이란 문항반응이론에서 각 능력수준의 학생들이 문항을 맞힐 실제 확률값에 가장 가깝게 그려지는 곡선을 의미합니다. 문항특성곡선을 통해 학생들이 각 문항에 반응하는 정도와 문항모수(문항난이도, 문항변별도, 문항추측도)를 확인할 수 있습니다.

파란색 실선으로 그려진 S자 모양의 곡선은 추정된 문항특성곡선으로서, 점도표와 최대한 가까운 위치에서 그려지게 됩니다(Embretson & Reise, 2000). 문항반응이론에서 ICC가 그려지는 가로축은 학생능력수준(θ)을, 세로축은 학생능력수준별 문항을 맞힐 확률(P(θ))이 0.5가 되는 순간의 가로축(θ)의 값이 문항난이도(β)를 의미합니다(Rasch, 1960).

추정된 ICC가 그래프 상의 우측에 위치할 수록 P(θ)가 0.5가 될 때의 가로축의 값이 더 커지게 되어 어려운 문항임을 나타냅니다.