查看原文
其他

刘梦君等 | 基于智能交互的形成性反馈研究

刘梦君 尹加琪 等 现代教育技术杂志 2024-02-05

摘要:形成性反馈是提高学习动机与学习表现的重要手段。为突破传统反馈中反馈延迟、有效反馈缺乏等局限,文章依据基于智能交互的形成性反馈设计原则,构建了基于智能交互的形成性反馈框架。然后开展准实验研究将研究对象分为控制组(接收传统反馈)和实验组(接收基于智能交互的形成性反馈),使用独立样本T检验,比较两组各章学习成绩前后测、内部动机各维度得分,并分析三次干预后的认知负荷,结果表明:基于智能交互的形成性反馈可以在一定程度上提升学习成绩、提高学习动机、降低认知负荷。文章的研究从理论上拓展了人工智能深度融入教学的方式,并可在实践中为教师设计更科学、有效的学生自主学习活动方案提供参考。

关键词:形成性反馈;智能交互;内部动机;认知负荷

引言

形成性反馈是形成性评价的核心部分,是指向学习者传递的旨在改变其思维或行为以提高学习效果的信息[1],可以缩小学生当前的理解或表现与预期目标之间的差距,降低认知负荷,提高学习成绩。然而,要形成有效反馈,不仅需要教师的参与,还需要充分调动学生的积极性,激发他们的学习动机和学习兴趣[2]。目前,传统教师反馈方式仍占主流,普遍存在反馈延时、个性化缺失等问题,且在大班授课环境中这些问题尤为严重。


为解决上述问题,已有研究者从技术与策略的角度对优化智能学习环境下的形成性反馈方式进行了广泛探索[3]。其中,智能交互平台凭借其能够提供即时对话交互、调动学生的积极性、提高学生学习的自主性和评价能力、帮助学生客观了解自身的学习状况并弥补知识漏洞等,为解决传统反馈中的反馈延时、个性化缺失等问题提供了可能[4]。目前,学术界对智能交互平台上的形成性反馈研究从理论框架逐渐转向实践应用。国内外相关实证研究表明,对学生而言,智能交互平台在学习行为层面具备促进协作学习[5]、提高学习成绩的潜能,在认知层面能更有效地提高识别和记忆能力[6],在内部动机层面能激发学习兴趣、缓解学习压力、提高感知价值[7]


尽管对基于智能交互平台的形成性反馈已有诸多研究,但仍存在一些不足:①过多聚焦于片面的系统设计与应用,缺乏具体的理论支撑;②大多集中于智能交互平台对学生主观体验与学习效果的影响,而对学生认知心理层面尤其是学习动机、认知负荷等方面的影响鲜有研究;③缺少从激发学习者学习动机、降低认知负荷的视角对智能交互平台与形成性反馈进行整合的研究。基于此,本研究整合智能交互平台与形成性反馈,构建了基于智能交互的形成性反馈框架,探究其对学生学习成绩、学习内部动机及认知负荷的影响,以期帮助教师更加科学、合理地设计并实施学生的自主学习活动,促进人工智能深度融合教育教学过程。


一 基于智能交互的形成性反馈设计原则

在课堂上应用基于智能问答机器人的形成性反馈工具,可以弥补传统反馈的不足。其中,智能交互的形成性反馈工具的设计主要依据自我决定理论和认知负荷理论。


1 自我决定理论视角下的智能交互形成性反馈设计原则

自我决定理论(Self-Determination Theory,SDT)提出,内部动机是学生学习、适应、成长的重要驱动力。内部动机有三种心理需求,即自主性、能力和相关性[8]。其中,自主性是指个体受自我内驱力影响而行动的意识,能力是个体对自己完成某项活动的可能性感知,相关性是指在交互过程中个体给予他人或接收他人的情感支持。内部动机的心理需求为基于智能交互的形成性反馈设计原则提供了支撑,其依据在于:一方面,它可以促使学生建构自我目标区域,便于在人机交互中有针对性地实施支持学生完成目标的方案,使其发挥自主性。而为了实现上述原则,本研究根据学生的答案提供不同的反馈内容,并给予学生自主选择重新答题或直接获取答案的机会;同时,充分利用智能交互平台的富媒体属性,通过文字、图片和表情符号的形式提供反馈,激发学生的学习兴趣。另一方面,它利用微型学习的特点,采用小单元、聚焦重点和自主式的学习模式,使学生集中注意力,提高其自我效能感。因此,智能交互平台中的学习单元多以学习问题的形式呈现,且学习问题按照认知水平由低到高、由简单到复杂进行设计。


2 认知负荷理论指导下的智能交互形成性反馈设计原则

认知负荷理论(Cognitive Load Theory,CLT)认为,学习的成功与否取决于是否有足够的认知资源来满足特定学习活动的需求。当经历高认知负荷时,注意力就会受到干扰,在需要注意力的任务上的表现也会受到影响[9]。一般而言,认知负荷分为内在认知负荷、外在认知负荷和相关认知负荷三种。其中,内在认知负荷主要由任务的复杂程度决定,外在认知负荷由学习内容的呈现形式决定,而相关认知负荷与信息处理有关。为了实现对认知负荷的控制,基于智能交互的形成性反馈设计原则包括:①通过改变学习者的建构图式,来降低学习者的内在认知负荷。例如,将学习难题分解为一步步待解决的小问题,当学习者回答错误时,智能交互平台会逐步给予提示、类比、解释、举例等信息——如果一次性呈现所有的信息,会导致信息被粗浅地处理,并产生过度的认知负荷。②可结合多媒体学习的原则,通过简化内容的呈现形式,来降低学习者的外在认知负荷。例如,去除与学习无关的元素,突出关键的知识内容。③通过构建新旧知识的联系,来适当增加学习者的相关认知负荷。例如,利用组织图式的方法,将知识点经过意义建构,帮助学习者处理零散信息并建立关联。


二 基于智能交互的形成性反馈框架的构建

1 基于智能交互的形成性反馈框架设计

根据上述设计原则,结合Narciss[10]的形成性反馈模式,本研究构建了基于智能交互的形成性反馈框架,如图1所示。由于影响形成性反馈的三大要素为教学情境、学习者特征和反馈本身,故本研究首先基于具体的教学情境,充分考虑学习者的学习特征,来设计学习任务;同时,考虑到反馈本身包含功能、内容和机制三大要素,故形成性反馈框架需提供促进学习者知识理解、策略调整与学习动机的功能,在此基础上完善反馈的内容和机制。此外,为了进一步满足学生的自主性要求并避免反馈内容单一而引起学习倦怠,形成性反馈框架还要依托学习流程控制、学习得分记录、学习意图识别的逻辑进行整体设计。


图1  基于智能交互的形成性反馈框架


①教学情境。教学情境包括教学目标、教学内容和学习任务。其中,教学目标是学生掌握基础知识与基本操作技能;教学内容涵盖概念型知识和应用型知识;学习任务则由一系列学习问题组成,学习问题的呈现按照认知水平由低到高、由简到难依次呈现。


②学习者特征。对于学习者尤其是对于课程学习的先验知识不足、且学习动机较低的学习者来说,在达到知识习得和应用的学习目标、实现对知识的理解方面,易产生较大的认知负荷。

③反馈要素。反馈要素包含反馈的功能、内容和机制。其中,形成性反馈的功能聚焦于认知、元认知、动机方面,即首先借助形成性反馈来促进学习者的知识建构、有效降低学习者的认知负荷;随后在反馈的过程中引导学习者学习,使其逐步形成有效的学习方法,培养有效的元认知技能;最后利用动态反馈引起学习者注意,提高其学习动机。形成性反馈的内容包括信息部分和评价部分,其中的信息是指教学信息,如当学习者回答错误时给予的提示、类比、解释、例子等指导性信息;而评价是指对学习者问题回答的验证性评价,即该答案是正确的还是错误的。形成性反馈的机制包括反馈时机与反馈调整,反馈时机是智能交互平台在学习者提交回答后何时给予反馈,反馈调整是智能交互平台对学习者提交回答后给予反馈的策略进行调整。


④智能交互功能。为了实现反馈的功能,智能交互平台需提供知识检测、方法训练等功能,同时通过图片交互引起学习者注意、促进学习者自我评价,使其明确知识的薄弱环节。对应于反馈的内容,设计智能交互平台的知识库时首先要将学习者答案与知识库进行匹配,验证答案的正误;再根据学习需求给予线索提示或详细反馈。针对反馈的机制,智能交互平台采用即时响应的方式,通过逐步反馈层层递进;同时,根据学习者的不同选择,智能交互平台进行反馈策略调整,如提供再次尝试解题或直接查看答案的机会。


⑤交互逻辑设计。交互逻辑设计包括流程控制、计分设置和意图识别三部分,具体的交互逻辑如下:智能交互平台依据学生的答题正误情况,引导学生进入不同的学习流程——如果学生答对,受到表扬后可根据自主学习意图,选择继续学习或查看解析,同时平台会记录加分;如果学生答错,受到鼓励后可根据自主学习意图,选择查看解析或再次答题。


2 基于智能交互的形成性反馈框架实践

为便于学生在复习环节利用智能交互平台更好地进行自主复习,本研究应用基于智能交互的形成性反馈框架进行实践,具体步骤如下:


①设定交互平台。目前,国内外已涌现出多款人工智能交互开发平台,如Dialogflow、Snatchbot、Alice等。而符合上文形成性反馈框架设计功能和逻辑要求的是开源平台Flow.ai,它具有如图1中所示的智能交互功能和逻辑特点。


②创设合适问题。本研究选取的学习内容来自科学出版社于2018年出版的《大学计算机基础》的第一章“计算机基础知识”(应用型)、第二章“硬件基础”(概念型)和第四章“算法与程序设计基础”(应用型)。由于第三章为“操作系统基础”,主要涵盖操作系统的定义、历史及功能,涉及的知识点比较简单,学生易于掌握,故不作为复习重点;而第一、二、四章是本课程重点,也是后续深入学习计算机的基础,故本研究选取这三章作为学习内容。每一章节的复习题均根据教学目标设计;同时,根据布鲁姆的教育目标分类法,按照学习目标的要求,设计的复习题由简单到复杂分层次提问,涵盖知识、理解、应用三个层面。


③设置反馈机制。若学生作答正确,就反馈“恭喜你答对啦”“你真是太棒了”等肯定性评价话语;接着提供快捷回复,学生可以选择查看改题的解析,或是直接进入下一题的作答。若学生作答错误,就反馈如“很遗憾答错咯”“不对哦”等鼓励性话语,并给予该题的提示,如该题相关的知识点、做题的方法及策略等;接着提供快捷回复,学生可以选择查看答案,或是根据提示再次尝试。当学生做完最后一道题后点击“完成训练”,便可查看本次练习的总成绩。图2展示了一个智能交互平台根据学习者应答给予即时反馈的过程画面。

图2  智能交互会话工具用户界面(部分)


三 研究设计

本研究基于上文框架提出研究假设,并选取合适的研究对象和实验工具,开展准实验研究。


1 研究假设

本研究从基于智能交互的形成性反馈提升学习成绩、提高学习内部动机、降低认知负荷三方面提出研究假设:①与传统反馈相比,基于智能交互的形成性反馈更有助于学生提高学习成绩;②与传统反馈相比,基于智能交互的形成性反馈有助于提高学生学习的内部动机;③与传统反馈相比,基于智能交互的形成性反馈有助于降低学生认知负荷。


2 研究对象

本研究以湖北省武汉市H大学2020级本科生为研究对象,并基于准实验研究中的实验组和控制组前后测方案,对参与者按其原有的班级进行分组:传统反馈班(控制组)由109名法学专业的学生组成,智能交互反馈班(实验组)由61名国际经济与贸易专业的学生和45名经济学专业的学生组成。由于实验过程涉及三轮,而部分学生缺席导致数据缺失,因此后期筛选时只保留数据完整的学生,最终确定控制组85人、实验组88人。两组学生由同一教师在不同时间讲授相同内容,但在复习阶段,控制组接收传统反馈,而实验组接收智能交互的形成性反馈。


3 实验工具

(1)形成性反馈习题、章节测验

第一、二、四章教学目标的测试问题由授课教师设计,题型包括选择题、填空题,每题1分。其中,第一章前后测均为13题,满分为13分;第二章前后测均为8题,满分为8分;第四章前后测均为9题,满分为9分。在每一章学习开始前进行成绩检测,评估学生的初始学习水平;在复习阶段结束后进行后测,评估学生的知识掌握情况。


(2)内部动机量表

McAuley[11]提出内部动机量表用于测量与学习环境有关的内部动机主观体验。本研究对该内部动机量表进行改编,包括兴趣—享受、紧张—压力、感知选择、感知能力、感知价值5个维度。其中,兴趣—享受维度衡量内在动机,由7个题项组成;感知选择、感知能力是内在动机的正向预测因子,分别包含4个、5个题项;紧张—压力是内在动机的负向预测因子,此维度由5个题项组成;感知价值反映了人们体验有用活动时的内化和自我调节,此维度包括4个题项。所有25个题项都采用李克特七点量表计分,1表示非常不同意,7表示非常同意。


(3)认知负荷量表

认知负荷量表改编自PAAS量表[12]。该量表采用李克特六点量表计分,设有8个题项:“精神负荷”维度有5个题项,“心理努力”维度有3个题项。其中,精神负荷是指任务与学科特征之间的交互程度,即资源对于研究对象的学习难度;心理努力代表分配给适应任务要求的认知能力,即研究对象的心理投入努力程度。


4 实验过程

控制组与实验组的对比实验分3轮进行,实验流程如图3所示。在每轮学习章节知识前,先让学生完成内部动机量表的填写,然后通过机房的考试系统完成该章节测试题,两份测试数据作为前测数据;教师正常授课,在下一次轮授课中,实验组通过智能交互平台的问答机器人进行问答式的知识复习,而控制组先使用在线问卷进行问答式的知识复习、其后由教师给予答疑反馈。复习之后,两组依然需要测试该章节的内容、内部动机水平和认知负荷水平,以上3份测试数据作为每一章节的后测数据。具体的实验计划安排如表1所示。


图3  对比实验流程


表1  实验计划安排


四 研究结果

实验数据采用SPSS 19.0进行分析。本研究首先计算了克隆巴赫系数值,以检验改编后量表的内部一致性。内部动机和认知负荷各维度的信度检验结果如表2所示,可以看出:所有量表各维度的克隆巴赫系数值都大于0.6,都可以接受。随后,本研究使用独立样本T检验对两组各章学习成绩前后测、内部动机各维度得分进行了比较,并对三次干预后的认知负荷进行了比较。


表2  内部动机量表和认知负荷量表各维度的信度检验


1 实验组和控制组各章学习成绩前后测比较

本研究对实验组和控制组的各章学习成绩前后测进行了独立样本T检验,结果如表3所示,可以看出,基于智能交互的形成性反馈在一定场景下可以提高学生学习成绩。具体来说,两组的第一、四章成绩变化量具有显著性差异,且实验组的成绩提升幅度显著高于控制组。尽管控制组第二章的成绩变化量略高于实验组,但是差异不显著。由此可见,对于概念学习,传统反馈和基于智能交互的形成性反馈对于学生的学习促进效用相当;而对于偏应用计算型知识,基于智能交互的形成性反馈有更好的促进效果。


表3  学习成绩前后测独立样本T检验


2 实验组和控制组内部动机各维度得分比较

本研究对内部动机各维度得分进行独立样本T检验,结果如表4所示,可以看出,基于智能交互的形成性反馈可以在学习早中期提高学生学习的内部动机。具体来说,在兴趣—享受维度,第一次干预后,两组的兴趣水平变化显著不同(t=-2.87,p<0.05):控制组水平下降、实验组水平上升,说明与传统反馈相比,基于智能交互的形成性反馈通过提供灵活问答的反馈机制和图文并茂的反馈内容能有效提高学习兴趣。第二次干预后,两组的兴趣水平变化没有显著性差异(均有所提高),表明学生对这两种反馈都感到满意。而第三次干预后,两组的变化也没有显著性差异(均有所下降),表明实验后期学生对这两种反馈产生了倦怠心理。


表4  内部动机各维度变化量独立样本T检验


在紧张-压力维度,第一次干预后,两组的压力水平变化显著不同(t=2.49,p<0.05):控制组的水平上升、实验组的水平下降,表明控制组因需紧跟教师教学步骤、不能即时解决困惑,而产生了更高的紧张和压力感。第二次干预后,两组的压力水平均有所下降,但两组差异不显著(t=-.58,p>0.05)。而第三次干预后,两组的压力水平产生显著性差异(t=2.14,p<0.05),其中控制组压力水平回升、实验组压力水平下降,表明长期的单一反馈会增加学生的心理负担与学习压力;而长期接受基于智能交互的自主学习,学生的压力水平会降低。


在感知选择维度,第一次干预后,两组的感知选择水平变化显著不同(t=-2.06,p<0.05),即控制组的水平下降、实验组的水平上升。而第二次、第三次干预后,两组的感知选择水平变化均没有显著性差异。学生初次接触智能交互平台能更好地提高感知选择水平,可能因为学生更喜欢自主性较强的复习方式,但由于其单一的问答机制,学生的后期感知选择水平有所下降。


在感知能力维度,两组在三次干预后的感知能力水平变化不具有显著性差异。具体而言,控制组的水平呈先下降后上升的趋势,而实验组的水平呈先上升后下降的趋势。基于智能交互的形成性反馈能够提供即时的反馈,并提供不同的学习选择,这样的设定能够增强学生的感知能力和信心。但是,传统的教师延时反馈也能在一定程度上满足感知要求。


在感知价值维度,第一次干预后,两组的感知价值水平具有显著性差异(t=-3.35,p<0.05),即两组的水平均下降,可见学生起初对两种反馈都不认可。但是,实验组的感知价值水平下降较少,且标准差较低。原因可能在于实验组第一次使用智能交互平台,对此持保守态度。而在第二次干预之后,控制组的水平仍然下降,而实验组的水平有所提高,两组的变化有显著性差异(t=-2.08,p<0.05)。由此可见,学生第二次使用智能交互平台后逐渐熟悉平台功能,认为平台能给知识理解增加更多价值。而控制组接受传统反馈的机制受限,以至对传统反馈不认可。而在第三次干预后,两组的感知价值水平差异不显著(t=1.94,p>0.05),即两组的水平均下降。实验组水平下降的原因可能在第四章较复杂的学习中,平台不能很好地满足学生的需求。


3 实验组和控制组三次干预后的认知负荷比较

本研究对两组学习完第一章后的认知负荷进行独立样本T检验,结果如表5所示,可以看出,随着对智能交互平台使用的逐渐熟练,基于智能交互的形成性反馈可以降低学生认知负荷。表5显示,两组的认知负荷水平没有显著性差异(t=-.05,p>0.05),即两组的认知负荷水平均较低。由此可见对于第一章的复习,两种反馈并未对学生产生较大的认知负荷。


表5  第一次干预后两组的认知负荷比较结果


完成第二章学习后,两组的认知负荷独立样本T检验结果如表6所示,可知实验组的认知负荷水平显著低于控制组(t=2.01,p<0.05)。原因可能是学生熟悉智能交互平台后有更多的自主选择;另外,第二章为概念性知识,学生更易掌握,认知负荷较小。控制组因为使用问卷星答题感觉十分麻烦,且答题后没有立即得到反馈,故易产生沮丧感,导致精神负荷较大。同时,由于两组使用的习题相同,因此付出的心理努力没有显著性差异(t=1.52,p>0.05)。


表6  第二次干预后两组的认知负荷比较结果


完成第四章学习后,两组的认知负荷独立样本T检验结果如表7所示,可知实验组的认知负荷水平显著低于控制组(t=2.53,p<0.05)。实验组的精神负荷较小,可能由于基于智能交互的反馈能快速响应答题且提供新的答题机会,因而学生不会感到困难;而传统反馈存在延时的问题,学生在答题上耗时更长。控制组的心理努力程度较高,表明教师给予的延时性反馈难以满足学生的知识需求。


表7  第三次干预后两组的认知负荷比较结果


五 结论与建议

依据自我决定理论和认知负荷理论,本研究构建了一套基于智能交互的形成性反馈框架并将其应用于实践。实验结果表明,基于智能交互的形成性反馈具有以下功能:①能够促进学生对应用型知识的掌握。智能交互的反馈设计允许学生根据自己的进度复习,使其得到及时的反馈,并提供重复答题的选项,这些都有利于知识的巩固和记忆。在反复的练习中,得到提示的学生能调整自己的认知、元认知策略,掌握解题的规律与方法。②能够提高学习者的学习兴趣。交互式的对话学习与社交聊天形式一致,学习者相对熟悉,因此基于智能交互的反馈设计更聚焦于参与度,较少关注指示说明。同时,学生可方便且重复地复习每个知识点,而学习的灵活性有利于激发学生的学习兴趣[13]。③有助于降低学生的认知负荷。基于智能交互的形成性反馈通过循序渐进的提示,降低了学生掌握知识的难度,避免学生产生畏难情绪;同时,教学方式与学习内容的呈现形式会影响学生的心理努力水平。


可见,基于智能交互的形成性反馈可以促进学生掌握知识、增强学生的学习动机、降低学生的认知负荷。基于此,本研究针对教学中使用的智能交互平台的设计提出如下建议:①可将智能交互平台作为应用型知识的反馈工具,提供更积极的、以学习者为中心的反馈方式。因为对于偏概念性、记忆性的知识而言,学习者所调用的组织图式方式较为简单,通过智能交互反馈系统将相关概念联系在一起,可以减轻工作记忆的负担。②需更多地关注如何维持学习兴趣。因为基于智能交互的形成性反馈更像私人助导,能通过会话答疑解惑,提供即时且有情感的反馈,更利于激发学生的学习兴趣。③应在交互过程中完成知识的组织和学习。因为知识对话交互的传递方式可以降低学生组织知识、完成知识学习任务的认知能力要求,进而降低认知负荷。


参考文献

[1]Shute V J. Focus on formative feedback[J]. Review of Educational Research, 2008,(1):153-189.

[2]王海英,吴爽.形成性评价视域下反馈在中小学教学管理中的运用[J].现代教育管理,2020,(3):103-109.

[3]杨兵,尹加琪,杨旸,等.现状与发展:智能问答机器人促进学习的反思[J].中国电化教育,2018,(12):31-38.

[4]李奕华.基于动态评估理论的英语写作反馈方式比较研究[J].外语界,2015,(3):59-67.

[5]Winkler R, Söllner M, Neuweiler M L, et al. Alexa, can you help us solve this problem? How conversations with smart personal assistant tutors increase task group outcomes[A]. Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems[C]. New York: Association for Computing Machinery, 2019:1-6.

[6]Ruan S, Jiang L, Xu J, et al. Quizbot: A Dialogue-based Adaptive Learning System for Factual Knowledge[A]. Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems[C]. New York: Association for Computing Machinery, 2019:1-13.

[7]Yin J, Goh T T, Yang B, et al. Conversation technology with Micro-Learning: The impact of chatbot-based learning on students’ learning motivation and performance[J]. Journal of Educational Computing Research, 2020,(1):154-177.

[8]Ryan R M, Deci E L. Self-determination theory and the facilitation of intrinsic motivation, social development, and well-being[J]. American Psychologist, 2000,(1):68.

[9]Murphy G, Groeger J A, Greene C M. Twenty years of load theory—Where are we now, and where should we go next?[J]. Psychonomic Bulletin & Review, 2016,(5):1316-1340.

[10]Narciss S, Huth K. How to design informative tutoring feedback for multi-media learning[A]. Instructionaldesign for Multimedia Learning[C]. Munster, NY: Waxmann, 2004:181-195.

[11]McAuley E, Duncan T, Tammen V V. Psychometric properties of the intrinsic motivation inventory in a competitive sport setting: A confirmatory factor analysis[J]. Research Quarterly for Exercise and Sport, 1989,(1):48-58.

[12]Sweller J, Van Merriënboer J J G. Paas F G. W C. Cognitive architecture and instructional design[J]. Educational Psychology Review, 1998,(3):251-297.

[13]Sun L, Siklander P, Ruokamo H. How to trigger students’ interest in digital learning environments: A systematic literature review[J]. Media, Technology & Life-Long Learning, 2018,(1):62-84.


继续滑动看下一个

刘梦君等 | 基于智能交互的形成性反馈研究

刘梦君 尹加琪 等 现代教育技术杂志
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存