项目反应理论

IRT理论(英語:Item Response Theory)又名项目反应理论,是一系列心理统计学模型的总称。IRT是用来分析考试成绩或者问卷调查数据的数学模型。这些模型的目标是来确定的潜在特征(latent trait)是否可以通过测试题被反应出来,以及测试题和被测试者之间的互动关系。目前广泛应用在心理和教育测量领域。

历史发展

IRT理论发端于20世纪50年代,它同时被丹麦统计学家乔治·拉什英语Georg Rasch和美国心理统计学家弗雷德里克·洛德在各自的国家发展起来。尽管采取的研究方法不同,但是他们的结果却非常相似。

F. Lord在1951年从普林斯顿大学毕业时的博士论文《A Theory of Test Scores》被认为是IRT理论的开端之作。在随后的30年中他进入ETS工作不断深入研究这个问题并且在1980年出版的《Applications of Item Response Theory to Practical Testing Problems》[1]正式完善了整个IRT理论的框架。

和Lord几乎在同时,乔治·拉什英语Georg Rasch在丹麦政府的委托之下开始研究现代考试理论,他采用了和Lord截然不同的切入点,一开始的时候他称之为潜在特征模型(latent trait model),却发现了极为类似的结果

数学模型

IRT模型: 

这个模型也叫做“3参数Normal-ogive模型”(3-parameter Normal-ogive model),简称为3PN,是由Lord 提出的。在实际应用中,人们出于数值处理的简便,更倾向于使用“3参数Logistic模型(简称3PL模型,3-parameter Logistic model)[2],该模型的表达式如下:

 

其中D为常数1.7

根据这两个模型所绘制出的曲线也叫做项目特征曲线(Item Characteristic Curve, ICC)。其意义在于描述出“成功解答某一特定考试项目的可能性”和“被测试者能力”(在函数中以 表示)之间的关系。在以上的两个模型中,共有3个参数:a,b和c。其中参数c一般被称为“猜测参数”(guessing parameter)或者“伪猜测参数”(pseudo-guessing parameter)。在图像上,c所代表的是ICC的下限,其直观意义为:当一个被测试者的能力值非常低(比如接近负无穷),但是他仍然能够有可能做对这道题目的概率c就是他猜测的能力。

b叫做项目难度参数,也称为项目难度(item difficulty)。b一般表示在ICC图像最陡的那一点所对应的 值。对于下限为0的ICC函数来说,b所对应的是概率为0.5的测试者能力值。改变b会导致ICC的左右移动,但是不改变其形状。当b值增加,会使ICC曲线向右移动( 值高的的方向),这会引起在即使 保持不变,但是答题正确率下降,亦即题目难度增加。反之当b值减小,ICC曲线向左移动。题目难度降低。

a叫做区分度参数或项目区分度(item discrimination)。在数学上,a/4的值是ICC曲线拐点处的斜率,即斜率的最大值。在这一点上,能力值微小的改变会造成最大的P值(回答正确率)变动。所以a体现的是该项目的最大区分度。

 
典型的Normal Ogive和Logistic为基础的ICC函数图像

而Rasch提出的模型: 

争论

虽然Rasch和Lord在几乎同时独立地提出了各自的模型。并且这两个模型现在都被广泛认为是IRT模型的基础。但是在心理统计学家社群内许多年来一直存在着Rasch模型的笃信者和其余心理统计学家的争论。主流的IRT学者认为Rasch模型只不过是3PN模型的一个特例,即在3PN模型中,参数c和a都为0的情况。而Rasch派学者则认为只有Rasch模型是完全不同的模型,真正体现了“测量”的定义,因为在模型成立的时候, 和b分别是“回答正确的题数”以及“对某一特定题目的正确率”的充分统计量,其简洁性也优于其他模型。

但是在面对不同区分度的测试项目时,Rasch模型中并没有相应的参数,所以无法做出区分。事实上对于Rasch派学者来说,他们认为所有的项目区分度都是一样的。对于主流IRT学者,常见的做法是用别的模型拟合数据,Rasch派学者的方法是把所有不能拟合Rasch模型的测试项目全部抛弃。简而言之,主流IRT学者的做法是“用模型拟合数据”,对于Rasch派学者来说,他们选择“用数据配合模型”,是争论的主要原因。

至今,Rasch派学者虽然在人数上是学界的少数派,但是他们仍然在考试测量领域以及跨国比较教育研究领域发挥着巨大的影响力。

参考文献

  1. ^ ISBN 9780898590067
  2. ^ 3PL模型和3PN模型在图形上的任何两点之间差距都小于0.01