书城教材教辅质量·特色·改革·创新
31829900000034

第34章 教学管理与教育理论研究(19)

只有当分数的分布范围较大时,测验的信度才可能较高,反之信度较低。可见,测验题目的难度以集中在0.5左右为最佳,以集中在两极端为最差。在非标准化学科测验中,组成测验的各试题的难度系数应当以0.5为均值,呈正态分布,允许有少量的高难度和低难度的测验题目。

(二)区分度分析

区分度是指测验题目对被试能力水平差异的区分程度。一个优秀的测验题目,应该能够将不同能力水平的被试区分开来。测量学家们通常把试题的区分度称为测验是否具有效度的“指示器”,并把它作为评价题目的质量,筛选题目的主要依据。

1.区分度计算

鉴别指数法。对于二分法记分的测验题目,从总分分布的两端各选择27%的被试组成高分组和低分组,分别计算高分组和低分组的通过率,二者之差就是鉴别指数:D=PH-PL。

对于多分值记分的测验题目,从总分分布的两端各选择25%的被试组成高分组和低分组,分别计算各组总分和测验最高分、最低分。再按下列公式计算:(公式中各符号含义与难度计算时相同)。

相关法。在较大规模的测验中,通常采用相关法计算区分度,也就是以题目分数与测验总分的相关系数作为题目区分度的指标。

对于测验题目以0.1记分,而测验总分是连续变量的数量资料,用点二列相关计算题目的区分度:(:点二列相关系数;St:全体被试的总分的标准差;、:通过、未通过该题目被试的总分的平均数;P、q:通过、未通过该题目被试人数的百分比)。

对于多分值记分的测验题目,因为得分具有连续性,在被试团体较大时,常用题目得分与总分的积差相关计算题目的区分度:(r:积差相关系数;n:被试人数;X、Y:被试的题目分数、总分数;、:被试的题目分数、总分数的平均数;、:被试的题目分数、总分数的标准差)。

2.区分度分析

鉴别指数是鉴别题目测量有效性的指标。鉴别指数越高,题目越有效。1965年,美国测量专家R.Lebel根据长期经验提出用鉴别指数评价题目性能的标准:鉴别指数在0.40以上的为很好;鉴别指数在0.30~0.39的为良好,修改会更好;鉴别指数在0.20~0.29的为尚可,仍需修改;鉴别指数在0.19以下的为差,必须淘汰。

用相关法计算的区分度,相关越高,题目区分度也越高。通常要以相关系数的显着性检验结果来作为评价的依据。任何一种测验,其所有的测验题目,都应该具有良好以上的区分度。否则,将无法保证测验的有效性。

三、测验的质量分析

当由若干质量达到要求的测验题目构成一个测验时,还必须对整个测验的可靠性和有效性进行技术鉴定,这就是通常说的试卷分析。试卷分析最根本的含义是指对试卷的质量进行系统的分析,目的是评价作为鉴别学生学业成绩的测量工具的质量。对于标准化测验来说,有一整套完整而成熟的质量技术分析指标。非标准化测验在测验结束以后,也可以通过抽样的方法,借助这些指标来进行试卷的质量分析,也就是要明确一个测验的信度和效度。

(一)信度分析

信度指测验结果的稳定性、一致性和可靠性程度。信度是测量过程中随机误差大小的反映,如果信度低,则随机误差大,测验的结果就会与真分数发生较大的偏差。一个优秀的测验必须具有较高的信度,也就是说,只要遵守操作规则,测验的结果就不应该随工具的使用者或使用时间、地点等因素的变化而发生较大变化。

测验信度的种类较多。如反映测验稳定性的重测信度、检验等值性的复本信度以及描述内部一致性的分半信度、同质性信度等。在非标准化学科测验的信度分析中,最适合使用的应该是分半信度。

分半信度是将一个测验分成对等的两半,然后分析同一组被试在两个半份上的一致性程度。计算分半信度的关键在于如何将一个测验分成两半,常用的分半方法有完全随机分半、奇偶题目序号分半等。计算分半信度的方法,就是求被试在两个半份测验上得分的相关系数,当然,由于只是半个测验的信度,所以必须用斯皮尔曼一布朗公式进行校正。

即:(:被试在两个半份测验上得分的相关系数;:测验的半分信度)。

测验信度通常用来解释个人测验分数的意义,也可用来进行两种测验分数的比较分析。测验信度高,说明测验结果比较一致,测量工具具有稳定性、一致性和等值性,被试的能力水平受被试状态和施测环境变化的影响较小;若信度低,则说明测验的随机误差较大,测验结果不可靠。鉴别信度系数的高低,需要对计算的各种相关系数进行显着性检验。

要提高测验的信度,可适当增加测验的长度,并使测验中所有试题的难度系数接近正态分布,并控制在中等水平上;必须保证测验题目具有较高的区分度,并尽量使用同质的测验内容题目;另外,还必须强调测验评分的客观性,并提高测验程序的统一性。

(二)效度分析

效度指一个测验实际测量的结果与所要测量的能力水平之间的吻合程度。效度是随机误差和系统误差的综合反映。效度的估计就是多方寻找证据来证明一个测验有效性程度的过程。由于效度是就测量结果达到测量目的的程度而言的,所以测验的效度估计在很大程度上取决于人们对测量目的的解释。常见的解释有三种:一是用测量的内容来说明目的;二是用心理学上某种理论结构来说明目的;三是用实际实效来说明目的。于是,就有内容效度、结构效度和实证效度之分。

在非标准化学科测验的效度分析中,最适合使用的是内容效度。内容效度指一个测验实际测到的内容与所要测的内容之间的吻合程度。估计内容效度的核心问题,一是要测的内容范围是否明确,二是在明确的内容范围内题目的取样是否具有代表性。确定内容效度的方法主要是逻辑分析法。其工作思路是请有关专家对测验题目与原定内容范围的吻合程度作出判断分析,所以又称专家判断法。这需要依据在编制测验时制作的“某某学科双向细目表”。

要提高测验的效度,首先,要精心编制测验,避免出现系统误差;其次,要妥善组织测验,控制好随机误差;再次,要合理处理好信度与效度的关系,信度不高的测验不可能具有很高的测验效度。

四、被试的质量分析

在上述试卷的质量分析基础上,确定了试卷的质量达到了一定标准以后,被试的质量分析才有其实际意义。被试质量的分析主要包括计算平均分、标准差,最高分、最低分,及格率、优秀率,以及分布形态检验、个体标准分数等。目的是了解学生学习情况,鉴别学生学业成绩,为改进教学、提高教学质量提供反馈信息。

(一)被试团体的质量分析

就某一被试团体而言,应进行描述性统计分析,就团体与团体之间,可进行检验性统计分析。

描述性统计分析的目的在于弄清楚某一团体的总体情况。主要包括计算团体平均分、标准差,确定最高分、最低分,统计及格率、优秀率以及各分数段人数百分比等。然后,再以统计图、统计表的形式呈现团体分数分布形态特征,并对分数分布形态进行正态性检验。

检验性统计分析的目的在于明确团体与团体之间、某团体与某地区总体之间的差异。可进行差异的显着性检验,包括Z检验、t检验、方差分析等。

(二)被试个体的质量分析

就被试个体而言,可计算其测验成绩的标准分数,以明确其在团体中的地位。标准分数是以标准差为单位来表示一个测验分数在团体中所处的相对位置的量数:。

它既可用来比较不同性质的测验分数在各自分数分布中相对位置的高低,也可用来合成不同测验的分数。另外,个体的质量分析,还可计算百分等级分数。百分等级反映了某一个体的测验分数以下的分数个数占总个数的百分比,也是一种相对位置量数。

综上所述,非标准化测验的质量分析,可借助于标准化测验的质量分析指标体系,通过抽样进行一定的定量分析,在此基础上,对测验所作的定性分析才有充分的依据。也只有在试卷的质量分析基础上,被试的质量分析才有其实际意义。

主要参考文献

[1]温忠麟,邢最智.现代教育与心理统计技术.南京:江苏教育出版社,2001.2

[2]戴海崎,张锋,陈雪枫.心理与教育测量.济南:济南大学出版社,1999.118,92

(章永,乐山师范学院教育与心理学系)