一、培训有效性评估的必要性
(一)培训有效性与培训有效性评估
培训有效性又称培训效果(Training Effectiveness),指的是组织和受训者从培训中获得的收益。对于受训者而言,收益指的是受训者在培训中学到的知识、技能、行为方式等;对于组织而言,收益则可能是销售收入、公司绩效、产品质量、顾客满意度等方面的提高以及人力成本、时间成本的降低。
培训的有效性评估(Training Evaluation)是一个运用科学的理论、方法和程序,从培训项目中收集描述性与判断性的信息,并将其与整个组织的需求和目标联系起来,以确定培训项目的价值和质量的过程。在培训的各个环节都应进行有效性评估。在培训前,培训者可以对受训者的知识、能力和工作态度进行评估,以作为编排培训计划的根据;在培训进行的各阶段进行评估,可以保证培训沿着既定的方向运行;培训结束后,培训者可以对培训成果进行不同时段的跟踪评估,以作为下一次培训的依据,使培训工作的质量呈螺旋式上升。
(二)培训有效性评估的必要性
企业在培训上投入了大量的人力、物力与时间,期望通过培训改善当前的经营状况,提升核心竞争力。而培训是否能达到管理者们所期待的效果?这就需要借助有效性评估的力量:就整个培训而言,有效性评估可以体现企业人力资源的效益性,决定继续进行或停止某项培训,并获得如何改进某项培训的信息石金涛、唐宁玉、顾琴轩等:《培训与开发》,中国人民大学出版社,2003.。
一般而言,我们可以将培训评估分为事前评估与事后评估两个部分。事前评估(Formative Evaluation)是为了改进培训过程而进行的评估。通过事前评估,培训者可以找到更准确、更合适、更吸引受训者的培训内容以及更有效的培训方法。从而确保培训能够顺利进行,提高受训者的培训积极性。事后评估(Summative Evaluation)主要包括两个方面:一是衡量受训者在参加培训项目后的改变程度,二是测量组织从培训中所获得的投资回报。前者所考察的是受训者在知识、技能、态度、行为方式上的各种变化,与培训计划、培训目标相对应;后者则关注培训成果与经营战略之间的关系,侧重于对培训经济价值的分析。
除了上述两种培训评估过程以外,还有一种培训评估比较常见,即试验性测试(Pilot Testing)。所谓试验性测试指的是与潜在的受训者、管理者或其他培训项目开发的出资人预先试行培训项目的过程。它就像一场“演习”,将培训项目在正式运行前展示给受训者、管理者与其他与该项目相关的人。在“演习”后,人们可以将自己对项目的整体感受或者有关细节的想法描述出来。同时,培训者也可以观察人们在“演习”中的表现,结合他们所给予的反馈信息,做出一些总结以改进项目。
综合上述,引用管理学家雷蒙德·A·诺伊的观点,我们可以将培训有效性评估的必要性总结如下:
(1)明确培训项目的优势与劣势:判断培训项目是否符合学习目标的要求、学习环境是否令人满意、培训成果能否在今后的工作中得以应用。
(2)评价培训内容及其组织、管理:培训的时间安排、场地、培训师、培训材料等是否有利于培训以及培训成果在日后工作中的应用。
(3)明确哪些受训者从培训中获益最多,哪些人获益最少。
(4)了解以下问题:受训者为何参加本次培训、他(她)对本次培训的满意度如何、是否愿意再参加类似的培训、是否愿意向周围的人推荐本次培训——收集这些信息以推销本次培训。
(5)明确培训项目的财务成本与收益。
(6)比较进行培训与不进行培训的成本与收益。
(7)比较不同培训项目的成本与收益,选择一个最优项目。
二、培训有效性评估的一般过程
科学的培训有效性评估是怎样完成的呢?在了解各个细节之前,我们应对培训有效性评估有一个整体的感知。
三、用于跨文化培训有效性评估的成果
培训成果指的是培训者与组织用来评价培训项目的尺度。1959年,美国人力资源管理学家柯克帕特里克提出了著名的四层次评估标准模型(Fourlevel Framework)。该模型将培训成果划分为四个层次。其中,第一层次与第二层次的标准即反应与学习,是在受训者到岗前收集的,而第三层次与第四层次的标准即行为与结果,是衡量受训者在工作中应用培训所学知识、技能、行为方式的程度,也就是培训成果转化的效果。
尽管柯克帕特里克的四层次评估标准模型在培训评估方面得到了广泛应用,但随着时间的推移与研究的深入,人们还是找出了柯式模型中的一些不足。首先,研究并未发现模型中每一个层次的成果都是由前一个层次的成果所引起的,也并未证明各个层级的重要性有所不同。其次,这种模型并未考虑到培训有效性评估的目的——培训有效性评估所采用的成果必须与培训需求、项目目标以及培训战略出发点相联系。最后,运用该模型意味着培训成果必须以一种有序的方式来收集,即按照模型的层次,从最低层次“反应”开始依次衡量“学习”、“行为”以及“结果”各个层次。然而在实际工作中,学习成果与行为成果的收集几乎是同步的,很难分割开来。
鉴于柯式模型所存在的局限性,无论在学术领域还是在实际工作中,人们都期待找到一个更完备的模型来指导培训有效性的评估。这就意味着,要从培训的需求分析及目标设立中提炼出更多的适用于培训有效性评估的成果。迄今为止,人们已经找到5种这样的成果,它们分别是认知成果、技能成果、情感成果、绩效成果以及投资回报率。管理学家诺伊曾对这些成果进行比较。
四、跨文化培训有效性评估的成果分析
在确定了对哪些培训成果进行评估之后,培训者要考虑的下一个问题就是找出培训有效性评估的成果分析,即回答“什么样的成果能够成为培训有效性评估的最佳尺度”这一问题。一般而言,好的培训成果应该相关的、可靠的、有区分度的,并且是切实可行的。这一点,在跨文化培训的有效性评估中也同样适用。
1.相关度
标准相关度(Criteria Relevance)指的是培训成果与培训项目所强调的应习得的知识、技能与行为方式等内容之间的关联程度。我们之所以认为好的培训成果应该具有相关度的原因在于当我们所收集到的培训成果与培训项目所强调的应习得的知识、技能与行为方式等内容之间高度相关时,即意味着我们用来评价培训项目的标准与培训项目的目标之间保持着高度的一致性。这种高度的一致性进一步保证了我们胜任某项工作时应用到的能力与我们这项工作所作的培训中要求我们学习的能力尽可能一致。
首先是效标污染(Criteria Contamination)。效标污染指的是培训效果评估测量了不相关的能力或受到了额外因素的影响。举例来说,以管理者的工作绩效评估作为培训成果,那么对于那些给予受训者高分的管理者而言,他们之所以给出高分,可能只是因为他们参与了培训项目并从主观上愿意相信培训是具有价值的。
而所谓效标缺陷(Criteria Deficiency)指的是无法衡量培训目标中强调的培训成果的情况。一般而言,培训项目的目标并不具有唯一性,那么培训成果也要体现出目标的要求。
2.信度
信度(Reliability)是指测试结果在一段时间内的一致性程度,也就是测试结果的长期稳定性与可信度。员工对刚刚学到的知识与技能记忆比较深刻,而随着时间的推移,部分知识与技能就会被遗忘。因而,在培训刚刚结束后所做的测试中,员工所取得的高分并不能证明他们完全掌握了培训项目中的各项知识与技能。那么,什么才是信度高的测试呢?有学者指出,当培训者安排受训者在培训前、后各参加一次测试时,高信度的测试能够保证受训者对于测试题目的理解与解答在经过一段时间后仍保持不变。它令受训者相信,相对于培训前,培训后测试分数上的提高是来源于培训过程中的学习,而不是因为测试环境、测试特点等因素。
3.区分度
区分度(Discrimination)指的是不同受训者取得的成果反映其真实绩效差异的程度。现实中,即便接受的是相同的培训,不同员工所学到的知识、技能与行为方式也不尽相同。具有区别度的测试应能使员工在测试中得分有所不同,进而反映员工们在知识、技能与工作业绩上的差异。
4.可行性
可行性(Practicality)是指收集培训成果的测量结果的难易程度。一些公司并未在其培训的有效性评估中加入学习、绩效与行为成果的原因之一正是收集这些培训成果的信息是一件费时费力的事情。