一、培训效果评价理论综述

关于培训评价，由于不同研究者的研究背景和角度不同，目前，学界至少有三种不同的观点：其一是“整体评价”观，认为培训评价模型不仅仅是对培训产出和效果进行评价，而是对整个培训项目的各个方面和环节进行评价，其中包含培训投入、培训过程和培训产出三个阶段的评价。如美国学者斯塔弗尔比姆（Stufflebeam,D.L.）提出的CIPP评价模型，其主要体现了全程性、过程性和反馈性三个特征。其二是“层次评价”观，认为培训评价模型就是对不同层次的培训产出和效果进行归纳、整理。如美国学者柯克帕特里克（Kirkpatrick）最初在人力资源培训评价领域提出的反映（Reaction）、学习（Learning）、行为（Behavior）、结果（Results）四层次培训评价模型最具有代表性，被称为培训评价领域的经典[1]。由于该模型不仅能够实际解决在培训评价中出现的相关问题，而且在研究培训评价方面能够为研究人员提供可借鉴的思路和方法，柯氏的四层次评价模型在国内外培训评价研究方面有着广泛的运用。柯克帕特里克的四层次评价模型被广泛用于商业、工业等领域中的项目质量评价，但在教育领域使用比较有限。在柯氏四层次评价模型的基础上，美国学者古斯基（Guskey,T.R.）在教师专业发展评价领域对该模型进行整合与创新，构建了更为丰富的教师专业发展五层次评价模型。此评价模型包含学员反应、学员学习、组织的支持和变化、学员应用新知识与新技能、学员学习结果这五个层次[2]。根据每个层次的不同内容、定位和效果，这五个层次形成由简入繁、层层递进的模式。其三是“成果评价”观，代表学者为美国人力资源专家诺伊（RaymondA.Noe）。他提出培训评价模型应基于五种类型的培训成果之上进行综合全面评价，五类成果即包含认知成果、技能成果、情感成果、绩效成果和投资回报率。这种成果评价模型对建立基于培训目标和效果的各级各类教师培训项目评价具有借鉴意义。国内学者对于教师培训效果评价方面的研究主要集中于基础教育阶段的中小学教师培训，且以传统的培训评价模式研究为主。鉴于目前教师培训效果评价体系的要素缺陷，朱旭东、宋萑在教师培训效果评价体系之中完善并强调了“项目后评价”（post-projectevaluation）这一过程的引入，在借鉴改编国外相关学者的评价理论和模型基础之上，提出教师培训效果评价结构表[3]。

在综合借鉴以上学者关于教师培训效果评价理论的基础上，本文从“学习者体验”（LeanerExperience）角度构建教师在线培训效果评价体系。当前，学界关于“教师在线培训效果评价”的研究以培训内容质量为主，但学习者体验质量、网络媒介内容质量、交互性内容质量等要素并不涵盖在内，聚焦“内容”的客观而较为全面的指标体系也未单独提出。学习者体验以掌握学习者的认知规律为目标，将知识型产品的特殊性与教育活动的复杂性深入结合，分别从学习者的主观视角和客观视角去感受整个过程。学习者体验可定义为“学习者在从事某项学习活动（即培训活动）时对整个过程的一种主观感受、接受程度和自然反应”，其中包含了对在线培训项目活动、在线培训课程网络环境、教与学交互设计等各个构成因素的感知。这是一种对学习（培训）环境、学习（培训）活动和学习（培训）结果等方面的多元体验。另有学者通过实证研究发现，各种类型的学习者对于在线课程或培训的学习体验非常重视，从而使学习者体验与在线课程质量、学习参与度、学习满意度等因素存在正相关性[4]。因此，“体验”已成为学习者需求新的增长点，是教师在线培训效果评价的新要义。

二、教师在线培训效果评价指标体系的设计

（一）教师在线培训效果评价的关键指标

本文基于学习者体验这一视角，从教师在线培训所内涵的模式、课程和互联网这三大属性出发，对教师在线培训效果评价构建出三个关键指标，即规范性、专业性和稀缺性。

1.第一关键指标

规范性。规范性是任何产品提升自我品质的前提条件以及实现品牌价值的坚实保障，也是产品逐步发展完善的关键环节。一般认为，产品内容的“规范”往往与“特性”相互受限，对产品的差异化和个性化发展产生阻碍作用。本文所指的规范性，意为整个产品的内容在开发和使用过程中能够在准确性、可靠性、完整性、合法性、易于理解性等方面有足够的规定保障，从而为产品后续相对应的实际操作和顺利运转提供持续的方向指引。因而在可控条件下，这与“特性”是相辅相成的关系。

在线培训内容的规范性，主要是从产品开发的角度对平台内容和课程内容的制作、内测、传播、宣传、出版等各个环节提出要求。在线培训内容中所涉及的语言文字、视频、音频、链接等信息都要严格遵照《中华人民共和国国家通用语言文字法》《互联网信息服务管理办法》《音像制品管理条例》等国家相关法律法规规范使用。

2.第二关键指标

专业性。实现良好培训效果的另一个重要维度就是培训课程内容的专业性。美国课程论学家奥利瓦利用自明性公理的说法提出了课程研制领域的十大公理。泰勒原理在课程编制方面具有广泛的影响和运用，泰勒提出的四个问题的实质是强调以目标为中心的模式，即所说的“目标模式”。这个模式通过前期设立的目标来引导教师进行教学活动，从而使其在教学过程中能够有章可循，体现了其丰富而实用的实践操作性。英国课程理论家斯腾豪斯（LawrenceStenhouse）提出的“过程模式”主要是针对目标模式所不可避免的缺陷，即过分强调预期行为结果而忽视“过程”，过程模式强调任何一门课程的有序开发都是伴随着连续不断地研究与探索，并贯穿着对整个过程的评价和修正[5]。纵观现代国内外课程与教学内容的发展趋势，学习者的主体意识是否得到尊重、学习者的探究与主动学习能力能否得以凸显已成为现代课程观下的衡量标准。因此，学习者自身所具备的经验成为选择现代课程与教学内容的重要指向。这类课程与教学内容围绕着学习者的经验，对学科知识、专业背景、生活经验、社会实践等方面进行统一整合[6]。

国外有关在线课程资源标准的规定普遍都涉及到对“专业性”的相关要求。根据《教育部关于加强高等学校在线开放课程建设应用与管理的意见》（教高[2015]3号）精神，“个性化发展和多样化终身学习需求”“信息技术与教育教学深度融合”等被明确提出。《信息技术学习、教育和培训在线课程》国家标准的出台，对在线教育行业、在线教育企业平台、在线教育产品的使用者等都设立了系统化、专业性的行业标准[7]。美国教育部门发布的《在线教育质量：远程互联网教育成功应用的标准》的研究报告中，总结研究了多所美国高校和相关机构的评价标准[8]，见表1。英国教育部门发布的开放大学网络课程质量标准中，涵盖了一套专业化的各学科的课程标准。

表1美国在线课程评价标准一览表

3.第三关键指标

稀缺性。知识付费产品可以为消费者提供系统化、专门化、功能性强的自主学习和改进所需的知识。这种知识在信息市场上数量稀缺并且难以获取，因而稀缺性是知识付费产品的突出特点。稀缺性虽然不能直接使产品价值增长，但它可以独特性和知名度的信号得以传达，使自尊和认同感在消费者身上获得更强的感受。同时，它可以有效传达产品所内涵的高品质、高价值的信息，从而提高消费者对产品价值的认同感知以及购买倾向。如何让消费者进行主动付费是知识付费所面临的关键核心。对于纷繁复杂的信息市场上那些高质量、高专业性、高权威性专业知识的缺失，广大消费者为了自身发展需要得到进一步满足而进行主动付费[9]。因此，知识付费产品的稀缺性一方面体现在对独特知识内容和价值的有效处理上，另一方面这也反映了产品准入渠道的稀缺性。产品稀缺性通过持续而深入地影响消费者的主观心理感受和接受能力，从而达到使消费者的购买决定和选择偏好随之发生改变的目的。例如，商品理论认为，如果使消费者认为某种产品更值得购买的话，那么稀缺产品所带来的消费者的价值感知的增强则会达到这个效果。基于以上，为了使学习者能够为某产品持续付费，那么知识付费产品就首先且必须满足用户体验。

在线培训课程的信息内容中，创新性应同时体现在学习者自身产生内容和系统中专业生成内容之中。在线培训课程互动平台实现了“在线学习者充当所获信息资源内容的提供者、传播者和共享者”这一角色转变。一些研究者提出“要产生有创意的内容”。同时，为了满足不同类型学习者的需要，实现培训内容的个性化、差异化等特点，在线培训课程媒体内容、教学内容等需要进一步精细化运作。

（二）教师在线培训效果评价指标体系的形成

1.第一轮和第二轮评价指标体系的确立

基于前文对相关概念和理论的梳理，以及对在线培训课程内容关键指标的分析，我们构建了规范性、专业性和稀缺性3个维度，在其内涵和范围下遴选出准确性、规则性、安全性等18个一级指标，构成第一轮教师在线培训效果评价指标体系，见表2。

在第一轮指标体系确立后，我们从“学习者体验”的研究视角编制专家咨询问卷并根据研究主题遴选专家咨询组成员。问卷共设18个题目，旨在对前期拟定的18个指标进行量化评价。选取研究者及团队成员所在高校的相关教育教学专家为调查对象，专家咨询组成员涵盖一线教学人员、师资培训管理人员、相关培训平台研发人员等。根据实际情况，所有问卷均通过网络形式发放，共计发放268份问卷，最终回收有效问卷261份，回收有效率为97.4%。

本研究共开展两轮专家咨询，结合第一轮咨询结果和前期指标筛选标准，在专家反馈意见和小组内部讨论编制的基础上，形成第二轮专家咨询问卷，同时向专家反馈第一轮咨询结果。在德尔菲专家咨询结果的基础上，运用模糊综合评价法分析各评价指标，模糊综合评价是运用模糊数学对大量综合问题进行有效评价的方法之一[10]，在自然科学领域有着广泛的应用，随着研究范式的融合和深入，现在也越来越多地运用到人文社科领域的研究范畴里。对研究教师在线培训效果这一综合问题，我们将影响因素集记为X，并分成含有X1,X2……X18的18个子集；设立五级评价集C1,C2……C5，依次对应“十分重要”“重要”“一般”“不重要”“十分不重要”五个等级。

根据对已有评价指标的分析，用模糊向量集合Rj表示各评价指标的评价结果，即Rj={Rj1,Rj2，…，Rj18}，构建模糊综合判断矩阵，具体为：

2.最终评价指标体系的确立

根据前期的关键指标构建和分析，最终形成了涵盖规范性、专业性和稀缺性3个一级指标和准确性、规则性、安全性等18个二级指标的教师在线培训效果评价体系。同时，根据前期指标隶属度分析结果，将安全性、科学性、实用性、前沿性、生趣性、创新性这6个指标列为最重要等级，剩余指标列为次重要等级，具体见表3。

（三）教师在线培训效果评价指标体系的信度与效度检验

1.信度检验

信度是对量表数据可靠性的有效检验，能够反映出测量结果的稳定性和一致性[11]。本研究采用广泛使用的Cranbachα系数来进行内部一致性信度检验，α系数越高则表明变量间系统性和内在一致性越高。我们运用SPSS26.0分析“教师在线培训效果评价调查问卷”的数据，分析结果显示教师在线培训效果评价指标体系的α系数为0.928，这说明该量表数据具有较好的信度。

表2第一轮教师在线培训效果评价指标体系

表3教师在线培训效果评价体系一览表

2.效度检验

效度反映的是计划测量的内容与实际测量的内容之间的一致性程度，在本研究中即检验教师在线培训效果评价指标是否符合测量的目的和要求。教育测量学中将效度分为内容效度、结构效度、关联效度等[12]，本研究采用内容效度进行检验。我们运用相关分析法统计量表中每项指标的得分与最终总分之间的相关系数，根据两者是否呈显著性相关来判断效度状况。运用SPSS26.0对“教师在线培训效果评价调查问卷”中的18个指标数据进行Pearson相关系数统计，结果为各个指标的单项得分与总分的Pearson相关系数最低为0.568，最高为0.739，两者之间呈显著性相关关系。这也表明本研究中的教师在线培训效果评价指标体系具有较好的效度。

三、小结

教师线上培训有其特点，常用的线下评价方法在线上培训中可能基本无法使用。在当今智能互联时代，如果培训内容仅仅停留在内容授受层面，而缺失“用户参与”“用户体验”等多元化互联网文化和思维，显然已经无法满足新时代高素质创新型教师队伍对专业化知识强烈的渴望和参与学习所带来的成就感。“学习者体验”意味着在教师在线培训系统的设计与开发中，各方要遵循“学习者为中心”的理念，从而达到突出学习者主体性的最终目标。这种方式强调无论培训内容还是培训形式都要围绕教师的实际需求展开，因而培训效果评价也倾向于教师专业发展。只有学习者的身心需求最终得到满足，学习者才能更加深刻、持续、有效地参与到在线培训学习之中。本研究构建基于学习者体验视角的教师在线培训效果评价体系，丰富和改进教师在线培训评价研究维度，有利于提升高校对教师培训工作的重视度以及教师对培训工作的参与度，以此有效推进新时代高校教师队伍建设。

参考文献:

[1]王超超.教师培训质量评价指标体系框架的构建[J].教学与管理,2017,(30).

[2]左岚.I以"教师的转变"为核心的教师专业发展模型研究[J].教育发展研究,2014,(18).

[3]朱旭东,宋藿.论教师培训的核心要素[J].教师教育研究,2013,(03).

[4]黄璐,裴新宁,朱莹希.在线课程内容质星评价指标体系新探———基于学习者体验和知识付费的视角[J].远程教育杂志,2020,(01)

[5]黄甫全.课程与教学论[M].北京:中国人民大学出版社,2019:105.

[6]钟启泉.课程与教学论[M].上海:华东师范大学出版社,2009:79.

[7]宋栋国.在线课程国家标准带来多嬴局面[J].大众标准化,2020,(11).

[8]刘铁柱.美国在线课程资源建设标准综述与启示[J].宁波工程学院学报,2016,(03).

[9]陈若琳,张梦欣.知识付费产品稀缺性和信息不对称对消费者购买意愿的影响[J.合作经济与科技,2020,(13).

[10]熊德国,鲜学福.模糊综合评价方法的改进[J].重庆大学学报(自然科学版),2003,(06).

[11]方敏.结构方程模型下的信度检验[J].中国卫生统计,2009,(05).

文章来源：杨森,陈晨.基于学习者体验视角的高校教师在线培训效果评价研究[J].中国成人教育,2021(09):66-69.

基金资助：山东省教育科学“十三五”规划2020年度课题“学习者体验视角下的教师在线培训效果评价体系研究”(课题编号:2020QZC004);