测量是评价的基础,评价是对测量结果赋予教学意义的阐述。考试拥有测量与评价的双重属性,是教育评价的重要组成部分,历来被视作考核、选拔和评价人才的重要手段。考试结果通常以数字形式存储和展现,测评分数反映了考生对课程知识、技能的掌握程度,是评价考生能力和学习水平的直接证据[1]。可是从另一个角度来看,学习测评分数以单个数值简单地概括学习者的总体水平,虽然较为适合作为“比较、排名的依据”,但是无法为学习者提供更多的细节信息,不能指导他们进行后续的调整与改进。在学习评价理念经历由“对学习的评价”向“为了学习的评价”转变的同时,在新型测量理论指导下,评价取向也相应地逐渐由笼统测验分数评判转向精准个性化诊断。值得深思的是在现实中,教学者仍然主要关注学习者总分、班级平均分等,忽略试卷知识点和学生认知结构等细节信息,最为明显的遗憾便是无法区分获得同一分数的不同学习者,因为他们必然拥有不同的学习状态和认知结构,凡此种种导致“基于学习测评数据的精准教学”这一设想无法实现。随着教育测评、学习分析技术的普及和应用,提高考试分数数据的可解释性,挖掘考试数据中承载的多元信息成为当前教育考试标准的重要内容[2],但目前的考试数据未能得到充分挖掘和无法给予考试参与者有效的反馈仍然是饱受诟病的重要问题[3]。

可视化分析将计算机自动化分析能力与人类感官认知能力相结合,使数据以合适的视觉表征方式呈现,有利于直接有效地从数据中挖掘隐藏的信息和智慧[4]。应用可视化分析技术进行考试数据分析,可以发现考试分数数据中蕴含的时序规律、相关性及异常原因[5],提升考试分数数据科学解释的程度。在实际可视化分析的研究或实践中,无论是借助学习仪表盘,还是其他工具,人们往往遵循从“数据处理”到“可视展示”的简单逻辑。因此,目前可视化融入学习测评数据的多数分析只在“直观展示信息”上有所建树,仅依靠可视化技术仍不能实现充分挖掘和有效反馈。

为了解决上述两个难题,研究尝试对可视化分析逻辑进行改良。具体来说,在遵循可视化分析和学习分析范式以发挥可视化视觉优势的前提下,将需求分析、理解解读和多维反馈融入其中,提出学习测评数据可视化反馈模式。经注入三大核心要素的可视化反馈模式,基于主体需求、数据特征实施可视展示和融合可视信息、文本知识进行多维反馈,从而保证挖掘的充分性和反馈的有效性。为了验证此假设,将“计算机应用基础”课程全国统考成绩数据作为分析案例对模式进行应用和验证,尝试为教与学的两大主体提供精准的教育反馈,以此探索借由学习测评数据可视化反馈促成精准教学的路径。

一、精准教学与教育反馈

(一)精准教学的内涵与特征

早在20世纪中叶,OgdenLindsley就提出精准教学的概念,提倡用手工的方式记录、分析学生的学习行为表现,进而利用获得的数据辅助教师在课堂中作出教学决策。随着信息技术介入精准教学程度的加深,研究者普遍意识到在遵循挖掘、定位和决策这一最基本逻辑的基础上,应辅以技术实现目标、问题和干预等三个方面的精准[6]。彭红超和祝智庭指出,智慧教育中精准教学的本质是“以测辅学”,实现的核心机理包括测量阶段“以测识学”、记录环节“以绘视学”和决策过程“以评辅学”[7]。潘巧明和赵静华将精准教学视为一种指导目标、实践、交互和评价环节的教学方法,认为教学评价“精准”是实现精准教学的关键[8]。

(二)精准教学视域下的教育反馈

教育反馈既是发挥教学评价“诊断”与“促进”功效的必要环节,也是实现教学行为调整的重要前置因素[9]。精准教学的基本逻辑是挖掘、定位和决策,这一视域为教育反馈带来了两大启示,即数据驱动教育反馈和逻辑促成精准反馈。回顾以往研究,传统的教育反馈缺少客观性[10],已有的“分析展示”性可视反馈未能生成有效决策知识[11],因此精准教学启示下的教育反馈应该更加关注基于数据的精准定位、精准呈现、精准反馈等三大逻辑要素。基于此,可视反馈在从“视觉特性”上改善教育反馈直观性的同时,仍需借助精准教学启示下的逻辑路径才能从根本上保证有效反馈的生成。

由文献梳理可知,发展后的精准教学除了基于数据精准决策以外,还在本质上更加关注教学效果未往预期发展时的补救和干预,这与教育反馈的“行为调整”初衷不谋而合。精准教学能给教育反馈带来理念上的启示,而其也需要借助精准教育反馈才能得以实现。与此同时,测评数据与精准教学密不可分,无数据不精准,精准教学的本质便是“以测辅学”。从某种程度上来说,精准教学视域下的教育反馈是测评数据到决策知识的转换过程,其预期的产物是客观有效的现状信息和目标建议,而实现的基本逻辑便是“精准定位—精准呈现—精准反馈”。

二、学习测评数据可视化反馈模式的构建

学习测评数据可视化反馈模式兼有学习分析和数据可视化的范式特征,是把学习测评活动数据、信息及知识以直观图形的形式展示,并用教育相关理论进行理解和解释的一种研究模式。学习分析学自2010年左右诞生以来,便旨在为学习者和教学过程分别提供个性化学习服务和准确的改进策略。Siemens将学习分析的过程概括为以数据为核心的分析环路,具体包括收集、存储、清洗、整合、数据、数据可视化和执行等六个环节。它无疑搭建起数据与学习之间的桥梁,提供了基于教育数据来了解和优化学习的切实可行路径。比学习分析学略早,可视化分析学在2005年左右被作为一种解决自动可视化技术难以完成的复杂问题的进阶科学面世。其与单纯的可视化技术最大的不同便是不仅仅依靠技术,而是更加强调借助交互性可视化表征式人机融合来降低决策复杂性。Card和Keim分别提出了两个可视化分析最为经典的模型,其过程大概可以归纳为数据预处理、用户交互(建模与表征)、知识生成和信息反馈。学习分析和可视化分析的一般流程是数据分析的基本架构,而前者的改进理念和后者的交互理念则为可视化反馈提供了更为核心的“人机交互”要素。

在借鉴学习分析的一般流程[12]和经典可视化分析模型[13]的基础上,结合精准教学启示下的教育反馈核心逻辑,提出如图1所示的学习测评数据可视化分析与反馈模式。与已有可视化分析流程不同,该模式以“需求分析”为起点,以“理解解释”为重点,以“可视+文本反馈”为关键,其中的可视化只是技术手段,因而更具“可视化学习分析”的特点。

图1学习测评数据可视化反馈模式

由图1可知,学习测评数据不仅指学习者的总分,还关注测验涉及的知识点、模块分布和细化分数等信息,如此才有可能生成多元、精准的教学反馈。在右侧的核心部分,学习测评数据可视化反馈模式包括精准定位、精准呈现、精准反馈等三大逻辑要素和数据清理、需求分析、方案选择、可视呈现、领域解读和信息反馈等六个环节。精准定位:根据需求分析,从测评活动中收集相关教育数据,经预处理后得到规范、清洁的教育数据集,再进行需求任务分解,按细分任务把数据集整理成若干面向主体应用的关注数据;精准呈现:对关注数据采用适合的可视化分析技术,通过生成的多视图图表来呈现关注数据中的信息本体和结构;精准反馈:结合教育领域、统计知识和应用需求,对可视化图形展示的信息进行理解和解释,再把生成的可视化和文本反馈提供给教育活动利益相关者,为后续的教学和学习决策提供依据。从数据生态角度来看,第一部分是从“杂数据”到“精数据”的转变,决定信息挖掘的深度和信息反馈的范围;第二部分是从“精数据”向“信息”的转换,影响信息反馈的直观性;第三部分是“信息”往“知识”的升华,确保信息反馈的有效性。

三、学习测评数据可视化反馈模式的应用

考试分数是教育数据中最常见的学习测评数据形式,因此本研究将以“计算机应用基础”考试数据作为应用案例,在为考试分数解释、教学质量提升等教育应用提供精准信息支持的同时,对构建的可视化反馈模式从操作化角度进行解释与应用。“计算机应用基础”考试是一门全国统一考试,考试方式为机考,系统会记录考生的总分、各知识模块的得分以及各知识模块涉及的知识点。本研究收集了某考点连续三次的考生成绩数据,涉及全国近二百个学习中心上万人次。根据考试大纲,考试内容分为计算机基础知识、操作系统应用等9个知识模块。删除学生隐私信息和无用数据项后,整理得到的考试分数数据集如表1所示。

表1考生考试分数数据集

(一)精准定位:数据清理与需求分析

为了得到规范、一致、清洁的数据集,进行了统一三次考试数据格式、排除无用数据干扰和保护考生个人隐私等预处理。“计算机应用基础”考试是一种水平过关考试,考生、学习中心(即教学机构)是教学的主体,向他们提供教育反馈是实现精准教学的关键。考生是考试最核心的利益主体,尤其是未通过的考生群体需要借助教育反馈,希望获得关键问题诊断和重点突破方向,实现“以考促学”。即使是对于已经通过考试的考生,也有可能希望得到精准的反馈信息,以满足持续进步或今后利用计算机知识更好地生活等需求;学习中心承担该课程的教学,更关注中心考生的学习成果所反映的教学水平以及学生对知识的掌握程度,意图借助反馈实现“以考优教”。

(二)精准呈现:方案选择与可视呈现

1.赋能“精准学习”的可视化分析

作为通过性考试,没有通过的考生意味着要再次复习以参加后续考试,直至通过。因此,考生需要详细而精准的反馈,以全面了解自身的知识状态和认知结构,发现学习和考试中存在的问题,进而有针对性地进行后续学习和复习。经过筛选发现,有18人连续三次考试均没有通过。从某种程度来说,他们属于由考试成绩这一指标识别出来的“离群”考生,而“离群”学习者无论是在实践还是研究中都尚未得到充分的关注。对于“离群”学习者而言,在通过性考试中向他们反馈精准信息能够促成测试达标,在其他类型教育评价中也能有利于更好地实现教育目标。基于此,一方面可以向这18个考生群体呈现历次考试中其所体现的认知结构和变化情况,揭示重点努力方向。美国威斯康星大学的研究团队提出了认知网络分析(ENA)方法并开发了在线分析工具,成功实现根据编码获得的“0、1”数据以网络谱图的方式直观地呈现学习者的认知要素与要素间的连接关系,能够在一定程度上反映其在某一领域的认知结构。因此对于这一需求,可以视模块得分超过模块满分的60%为该模块通过,然后分别将通过和不通过每个知识模块编码为“1”和“0”。依据认知网络分析原理[14],以一位考生为分析单位,考试时间为分析的节点,应用ENA在线工具生成认知网络图和认知网络差异图来展示考生认知结构,如图2a-2e所示。另一方面,可以向18位考生或其他考生个性化地展示其个人细分成绩信息。描绘多个个体在各知识模块的表现细节,平行坐标轴是极佳的选择,如图3所示。

图2d第一、第二次考试的认知网络差异图

图2e第二、第三次考试的认知网络差异图

2.助力“精准教学”的可视化分析

为了借助反馈实现“以考促教”,一方面可以向学习中心反馈中心考生的学习成果所反映的教学质量。教学质量一般以通过率、及格率和学习中心区分度来进行评价,具体可借由气泡图进行多维信息呈现,如图4所示,其中,气泡颜色代表学习中心、气泡在X和Y轴的位置分别代表通过率和优秀率、气泡大小代表区分度。另一方面,可以呈现每个专业学生的知识掌握度。在测评试题中,每道题目都会对应一个或多个知识点,因此可以从知识点这一维度对试题进行分类,并依据学生测评数据挖掘各知识点掌握情况[15]。对于“计算机应用基础”考试来说,理论基础这一知识模块的考查形式均为单项选择题,且每一道题仅对应一个知识点。答对某题得1分,否则计0分。根据单项选择题型的评价效度,基本上可以理解为得1分则掌握了该题所对应的知识,得0分就代表很可能没有掌握。基于这种特点,将理论基础这一模块的15个知识点视为15个认知节点,按照得分情况进行0、1编码,运用ENA在线工具生成的认知网络图呈现某学习中心公共管理和会计专业考生在理论基础部分的知识掌握程度和差异,如图5a-5c所示。同时,也借助ENA在线工具统计了在两个专业学生的认知网络图中,各知识要素在X、Y轴上的差异检验结果,整理后如表2所示。

图3第一次考试的认知网络图

图4第一次考试的认知网络图

表2两专业考生考试成绩双样本t检验结果

图5a公共管理专业学生认知网络

图5b会计专业学生认知网络

图5c两专业学生认知网络差异

(三)精准反馈:领域解读与信息反馈

在现有的部分研究中,“分析—展示”似乎已经完成了可视化分析的使命,可事实上,分析结果的需求者在面对纵然直观的图形时,也极有可能因为囿于视觉偏差和知识储备而无法获得准确的信息,从而致使反馈效果大打折扣。可视化分析与反馈中的“分析”绝不仅仅只是对原始数据进行分析生成可视化图形的过程,至少还应该包括对所生成可视化图形的专业分析。正是基于此,在借助可视化工具生成的可视化图形呈现了基本信息后,仍需借由领域解读,将可视信息转换为包括现状信息和目标建议的反馈知识。表3、表4为可视信息和反馈知识共同构成的学习、教学诊断反馈内容。

表3面向学习主体的学习诊断反馈

表4面向教学主体的教学研判反馈

四、可视化反馈助力精准教学的思考

针对学习测评数据信息尚未得到充分挖掘、测评反馈简单粗暴等问题,本研究对教育反馈与精准教学的基本旨向进行耦合分析后,借鉴学习分析和可视化分析的基本过程和核心理念,将精准教学的核心逻辑融入可视化分析路径中,构建了学习测评数据的可视化反馈模式。为对该模式进行验证和应用,以“计算机等级考试”中的成绩数据为例,组合使用和认知网络、平行坐标、气泡图和t检验等多种可视化和统计分析工具,经过可视呈现与精准解读后,为两大教育主体提供了精准的反馈。这一应用过程也在一定程度上证实了可视化反馈模式在促进精准教学中“精准评价”的效用价值,其有望为各种面向多主体、进行多维度的学习测评数据深度挖掘与有效反馈提供参考。在对构建的模式加以应用后发现,欲进一步优化可视化反馈助力精准教学的路径,可视化反馈的核心要素、技术支持的反馈两大问题值得进行重点思考和讨论。

(一)确保“数据、信息、知识”链条的有效转换

正如前文所言,对学习测评数据的分析存在信息挖掘不充分和反馈有效性不足两大主要问题。对于前者来说,本质上是因为“数据—信息”的转换不彻底。基于此,充分挖掘信息的前提是数据能有效地转换为信息,而根据教育主体需求和教育数据特征选择有价值的数据,再按照所关注数据的特征和计划反馈的维度进行科学的分析方案选择,则是“促成”和“催化”这一转换的动力;后者的本质是“信息—知识”的生成障碍,这种障碍相对于前者而言更加依赖于科学的解读加以破除,而这种科学源自领域知识和统计技术。为了实现两个转换过程,精准教学启示下的可视化反馈重在遵循“挖掘、定位和决策”的基本逻辑和激活“精准定位—精准呈现—精准反馈”的关键要素。从这个视角来看,研究构建的可视化反馈模式主要是提供一种内隐于三部分、六环节的逻辑,以此保证“数据、信息、知识”链条的有效转换,从根本上解决两大问题。

(二)关注“关联、智能、迭代”反馈的技术实现

技术赋能下的教育反馈具备可视化、即时性和常态性等特征,大多数平台已然能够自动将包括学习测评数据在内的各种教育数据“技术性”地转换为可视化图以反馈给学习者和教学者,但是信息挖掘不充分和反馈有效性不足的问题依然存在。这种现象是因为大多数平台实现的是“数据”到“图像”的转换,没有知识的生成。其最大的三个本质问题如下:一是永远将主体需求的默认值设为“分数”,忽视了“知识掌握度”“认知结构”等信息;二是平台没有“需求—数据—方案”的可视化映射规则,导致可视化结果不个性、欠合理;三是提供的反馈只有“图像”,没有融入教育和统计知识的现状信息和目标建议,反馈对象无法根据反馈来调整行为。因此,在日后设计开发的平台中,用户应按照可视化分析反馈模式的逻辑选择自身需求,系统再借由内置的“需求—数据—方案”关联规则生成面向不同主体需求的最佳、多维可视化结果。而对于可视化结果,系统亦应能通过“领域专家”的“众包”解读和人工智能的“自动解释”,向对应教育主体提供“可视化信息+文本知识”形式的多维教育反馈。同时,随着平台数据和运行记录的积累,内置的关联规则和自动解释愈加精准,凡此种种,便是技术赋能“基于学习测评数据的精准教学”之未来进路。

参考文献：

[2]刘庆思.提高考试分数可解释性研究——基于我国教育考试标准研制的思考[J].中国考试,2019(6):44.

[3]于涵,韩宁,关丹丹.关于新高考改革背景下考试质量监测与评价工作的思考[J].中国高教研究,2018(10):15.

[5]纪连恩,等.面向多主体的大学课程成绩相关性可视探索与分析[J].计算机辅助设计与图形学学报,2018(1):45.

[6]雷云鹤,祝智庭.基于预学习数据分析的精准教学决策[J].中国电化教育,2016(6):28-29.

[7]彭红超,祝智庭.以测辅学:智慧教育境域中精准教学的核心机制[J].电化教育研究,2017(3):102.

[8]潘巧明,赵静华.区域精准教学改革实践的探索与研究——以丽水市精准教学改革实践为例[J].电化教育研究,2019(12):110.

[9]周宏锐.深度挖掘考试数据促进学生学业发展刍议——关于“初中学业水平考试成绩报告单”的实践与思考[J].教育探索,2018(5):43.

[10]刘辉.促进学习的评价:从报告分数到建立反馈机制[J].当代教育科学,2016(4):30.

[11]陈明选,王诗佳.测评大数据支持下的学习反馈设计研究[J].电化教育研究,2018(3):37.

[12]胡立如,陈高伟.可视化学习分析:审视可视化技术的作用和价值[J].开放教育研究,2020(2):64.

[14]刘迎春,朱旭,陈乐.精准教学中基于同伴互评的评价者认知网络分析[J].远程教育杂志,2019(1):88.

[15]牟智佳,李雨婷,彭晓玲.基于学习测评数据的个性化评价建模与工具设计研究[J].电化教育研究,2019(8):98.

刘迎春,谢年春,高瑱涛.精准教学视野下基于学习测评数据的可视化反馈研究[J].黑龙江高教研究,2020(12):39-44.

基金:国家社会科学基金一般项目“社交媒体中基于群体深度交互的信任生成研究”(编号:17BTQ067)