余明华1，张
治2，祝智庭3
(1.上海师范大学教育技术系，上海200234;
2.上海市电化教育馆，上海200086;
3.华东师范大学开放教育学院，上海200062)
[摘要]项目式学习是当前教育领域关注的热点，而如何在线开展学习评价是项目式学习研究的难题。构建学生能
力画像有助于解决这一难题，而从哪些维度采集哪些行为数据支持能力画像建模，是构建画像的关键。因此，有必要研制项目式学习评价指标体系指导数据的采集。文章采用表现性评价方法，分析了项目式学习的评价内容和表现性任务，提出了项目式学习行为框架，并结合学生问题解决能力在不同行为维度的外在
表现设计了观测指标。采用问卷调查法验证和修正了指标体系，最终形成5个维度20个观测指标。对指标体系的应用场景进行了阐述，并以研究性学习学生画像构建为例，介绍了指标体系的具体应用，以期为相关人员提供实践参考。
[关键词]学生画像；项目式学习；评价指标体系；画像构建
[中图分类号]G434
[文献标志码]A
[作者简介]余明华(1985—)，女，江西南昌人。讲师，博士，主要从事学习分析与教育数据挖掘、研究性学习、学生画
像的研究。E-mail:********************。祝智庭为通讯作者,E-mail:**************.edu。
基金项目：全国教育科学“十三五”规划2019年度国家一般课题“基于学生画像的综合素质评价行动研究”(课题编号:BCA190084)
一、问题的提出
培养学生的核心素养已经成为世界各国教育改革的共同目标[1]。项目式学习以学生为中心，强调真实情境下复杂问题的解决[2]，有助于学生核心素养的培养[3]，已经成为教育领域关注的热点[4]。评价是项目式学习的关键问题[5]。有研究指出，在项目式学习中，教
师往往没有时间或能力为学生提供高质量的反馈，或帮助学生进行自我评估和反思[6]。因此，如何采集行为数据支持对学习过程和效果的解释，为学生提供高质量的评价反馈，是当前项目式学习研究的重难点。
大数据时代下，学习分析技术能够对学习过程进行全方位深度描述[7]。其中学生画像作为一种学习分析技术，基于学习数据根据学生特征对其进行分类、刻画与呈现，能够支持项目式学习评价及反馈。构建学生画像必然需要的支撑[8]，不同的数据类别将直接影响学习分析和画像构建的质量。因此，从
哪些维度采集哪些行为数据以保证项目式学习学生画像构建的质量，是当前亟须解决的问题。
二、文献综述
(一)项目式学习评价研究
评价一直是项目式学习研究的难点。目前，国内有关项目式学习评价的研究还较少。已有研究主要集中
于构建项目式学习的评价指标体系。不同研究者从不同视角展开了研究，包括基于学习过程[9-10]、课程重构[11]以及STEM 课程教学[12]等视角。构建评价指标体系能够在一定程度上推动项目式学习与课程的有效融合[11]。也有研究关注项目式学习的评价方法，在核心素养导向下设计了项目式学习表现性评价[13]。还有研究关注项目学习课程质量，构建了素养导向的项目学习课程质量评价框架[14]。
由此可见，项目式学习评价强调主体多元、内容全面、标准合理和方法多样[15]。虽然已有研究构建了
89
二级指标三级指标
问题陈述p1.研究问题描述清晰，学生清楚自己和团队的研究目标;p2.研究问题提供了足够的线索或提示，包含了足够的关键词
明确问题p3.研究问题与学生之前所学的知识很吻合;p4.研究问题涉及的主题反映了真实世界存在的问题;p5.研究问题能够激发学生的研究兴趣
项目式学习评价指标体系，但是主要从课程或项目管理的视角出发，较难用于指导构建画像行为数据的采集；较少关注学生能力思维进行评价；未对评价指标体系的信效度展开验证。
(二)学生画像构建研究
学生画像是用户画像在教育领域中的应用，以体特征为核心，旨在对学生进行体分类并描述[8]。目前，大部分学生画像研究主要基于开放学习环境采集学生的背景和绩效数据、平台交互行为数据[16-17]和问卷数据等[18]，根据学生的学习动机、学习参与度、在线积极性等特征对学生体进行划分[19-21]，以提供个性化指导，提升学习效果[22]；也有研究根据学习者的基本属性、学习过程和学习结果数据构建画像模型，并基于此设计了精准个性化学习路径规划框架[23]；还有研究指出，学习者画像的刻画应包括个体特征、个人表现和个人发展愿景三个层面[24]。
由此可见，学生画像虽然受到研究者的广泛关注，但也存在局限性。一方面，大多数研究聚焦于学生行为特征的刻画，缺少对能力思维等内在认知特征的关注；另一方面，画像构建所选取的数据主要基于在线行为数据特征，并未考虑学生行为所体现的知识水平或能力表现。
因此，为了全面、精准地刻画学生能力画像，本研究构建了项目式学习评价指标体系，并结合具体案例介绍该评价指标体系的应用，从而为相关人员提供实践依据。
三、评价指标体系的构建
(一)构建方法及依据
表现性评价能够准确评价学生在真实情境中的问题解决能力、批判性思维、交流与合作能力等高阶能力[25]，是目前项目式学习评价比较适切且有效的方法[26]。基于表现性评价的理念和方法，本研究从明确评价内容和确定表现性任务两个部分展开，以确定项目式学习评价体系框架及其指标。
1.评价内容
不同研究对于项目式学习的培养目标界定不同。一般认为，项目式学习以现实的、学生生成的知识和所培养的能力为最高成就目标[27]，具体包括协作交流能力[28]、批判性思维与创新思维[29-30]等。由于有研究发现，并未在自主学习和协作交流中发现学生的表现有明显差异[31]，仅从自主学习或协作交流某一视角出发，不能有效地描述学生的学习[32]。因此，本研究仅对小组整体在完成项目任务中问题解决能力(包括批判性思维和创造性思维)所反映的行为表现展开评价。
2.表现性任务
删除评价能力是不能直接被测量的变量，需要对其在学习过程中所反映出来的外显表现进行解析。解析之前，需要明确项目式学习中关键的表现性任务。通过梳理文献可知，项目式学习包括提出问题和问题陈述、形成研究目标、制定计划、设计解决方案、收集资料和数据、分析资料和数据、形成推论、协作交流、成
果展示等步骤[33-34]。这些步骤可以看作是三个阶段的循环过程，即提出问题、解决问题、总结呈现(如图1所示)。
图1项目式学习行为框架
(二)评价指标体系构建
基于以上三个阶段，进一步结合批判性思维和创造性思维在不同阶段完成任务时所反映的行为表现对评价指标进行设计。在设计中，主要参考了国际已有的高阶能力评价指标体系中有关问题解决能力的评价[35-37]、中国学生发展核心素养总体框架中有关科学精神和实践创新的表现描述[38]以及美国巴克教育学院的项目式学习评价量规[39]。
1.提出问题维度
提出问题维度包括问题陈述和明确问题两个二级指标，主要评价学生所提出的问题能否达到预期学习目标以及学生对问题的熟悉程度。具体指标设计见表1。
表1提出问题维度指标设计
2.解决问题维度
解决问题维度包括学生理解问题、制定计划、收集资源、分析推理和使用证据五个二级指标。其中，理解问题是学生运用已知的信息和知识对研究背景及其目的进行陈述，提出可验证的假设。然后制定解决
方案，组员分工。收集资源是学生通过多种方式收集
90
并整合与解决问题相关的资源。分析推理是学生对收集的资源进行分析、描述、解释，并对资源质量进行评估，基于此通过自己的理解形成若干观点，并对观点进行反思选出最佳的观点。使用证据是通过检查收集的资料和推理过程能否支撑形成的观点或推论，与组员讨论确定最终的解决方案。具体指标设计见表2。
3.总结呈现维度
总结呈现维度包括证明推论和展示成果两个二级指标。其中，要求使用生动的可视化形式(如图表等)去呈现分析结果，能够基于证据和推理得到研究结论，并且研究结论解决了所提出的问题，学生能够在结论中反思其局限性，并思考所学知识如何迁移到其他情境。具体指标设计见表3。
表3总结呈现维度指标设计
四、评价指标体系的验证与修正
(一)问卷编制及调研
为了进一步验证构建的评价指标体系，编制了《高中生项目式学习调查问卷》，问卷采用李克特五点量表法，从“非常不同意”到“非常同意”，分别计为1~5分。
问卷初稿完成后，征求了3名教育信息化领域专家和2名研究型课程教师的意见。根据反馈，对部分语句进行了调整。问卷调研包括预试和正试两个阶段，均采用随机抽样，通过“问卷星”平台进行发布和回收，上海市18所学校1237名高中生参与了预试和正式的调研。其中，预试阶段回收问卷543份，有效问卷507份，用于项目分析和探索性因素分析；正试阶段回收问卷694份，有效问卷484份，用于验证性因素分析和信度检验。
(二)项目分析
项目分析旨在检验量表的适切性或可靠度[40]。本研究采用了极端组法和同质性检验法。其中，在极端组检验中，所有题项检验均达到显著水平(值统计量>3，显著性概率值<0.05)，无题项删除。同质性检验包括信度检验以及共同性与因素载荷。信度检验结果显示，整体量表的Alpha值是0.973，删除题项p3、p4后量表Alpha值为0.974，因此删除p3、p4。共同性和因素载荷分析结果显示，所有题项均在标准范围内。因此剩余28个题项样本进入下一阶段分析。
(三)效度检验
建构效度是指量表能够测量出理论的特质或概念的程度。为了检验本量表的建构效度，开展了探索性因素分析和验证性因素分析。
1.探索性因素分析
确定问卷是否适合进行探索性因素分析，需要检验问卷题项的KMO检验与Bartlett球形检验。分析结果显示,KMO值为0.978,Bartlett球形检验的取值是0.000。当KMO值>0.9，呈现的性质为“极佳”，说明本问卷题项非常适合进行探索性因素分析。
问卷样本采用主成分分析法进行探索性因素分
二级指标三级指标
证明推论c18.熟练地用精确的图、表组织和呈现数据;c19.对与问题相关的数据彻底地分析和解释;c20.在形成研究结论时，通过证据支持和正当推理来证明其中观点;c21.研究结论清晰，与数据分析结果一致;c22.认识到研究结论的局限性(不完整、不确定或不够完善的原因);c23.清楚地解释在研究中获得的新的理解，以及如何将它迁移到其他情境
展示成果C24.使用丰富的形式(如图文并茂、产品展示等)来展示研究成果;C25.在成果展示中让人感觉有趣、生动、有吸引力或感染力
二级指标三级指标
理解问题c1.知道使用哪些知识或资源来理解问题，并尽可能考虑多个观点;c2.组织信息描述研究背景和目的;c3.在科学探究中，提出可验证的假设
制定计划c4.制定详细、清晰、富有逻辑的研究方案(步骤、内容和方法);c5.为每位组员分配具体的研究任务;c6.研究方案与研究问题紧密关联，并具有一定创新性
收集资源c7.除了常规的信息来源(如书本、教师、学校)，可以通过其他方式或场所获得所需信息(如专家、社区、企业或相关组织、文献等);c8.与他人讨论能够促进形成发散性和创造性的观点;c9.尽可能去收集和整合更多与主题相关的信息
分析推理c10.对实验或调研中的变量进行控制和有效测量;c11.对收集的信息(数据)质量(如有效性、准确性和科学性)进行评估; c12.通过概念衍生形成很多解决问题的初始观点;c13.仔细评价不同观点的质量，并选择最佳观点支持形成推论;c14.尝试提出新问题，从不同视角阐述和改善所选观点;c15.当想法转化为观点时，发挥创造力和想象力
使用证据c16.通过检查推理是否有效，采集的证据(信息)是否与问题相关且充分，来评价形成的观点或推论;c17.通过他人的评论、反馈或多次调研数据来不断修正研究方案，并解释修改后能够更好地解决问题
表2解决问题维度指标设计
91
析，以正交方法进行因素转轴。分析过程中，删除因素负荷量低于0.45的题项，同时保证题项不在两个因素上负荷量超过0.45，且每个因素题量不少于3道；遵循以上方法，逐一删除题项后都重新进行因素分析。经过多次分析，当因子数为5，逐一删除“c1、c3、c17、c20、c21、c22、c23、c25”8个题项后，问卷样本的
可解释方差的累积贡献率为74.692%。旋转后成分矩阵见表4。
经过探索性因素分析后，得到5个因子共20道题项的内容结构。结合指标初始设计，将因素1、2、3、4、5分别命名为“分析推理”“总结呈现”“理解问题”“提出问题”和“收集资料”。
2.验证性因素分析验证性因素分析包括参数检验和拟合程度检验。其中，参数检验包括对参数的显著性检验和合理性检
验。分析结果表明，所有参数检验结果均符合标准要求；协方差检验结果均达显著水平，且各参数S.E.值和C.R.值检验结果均符合标准要求。拟合度检验分析结果见表5，表中指标表明评价框架五个因素拟合理想。
同时，分析结果显示，所有因素载荷均在0.684至0.862之间，属于合理范围之内。由此说明，正式问卷的建构效度具有理想的适切性和真实性。
(四)信度检验
组合信度常作为模型内在质量的判断标准。一般认为组合信度达到0.6以上，说明其内在质量良好。经分析，整体正式问卷的Alpha 值为0.963，各因素Alpha 值也均大于0.8，说明问卷题项内部一致性较好，内在质量佳。
结合以上分析结果，修正并形成正式的项目式学习评价指标体系，包括提出问题(p1,p2,p5)、理解问题(c
2,c4,c5,c6)、收集资源(c7,c8,c9)、分析推理(c10,c11,c12,c13,c14,c15,c16)和总结呈现(c18,c19,c24)，共计5个一级指标和20个二级指标。
五、基于学生画像的评价指标体系应用
本研究构建的项目式学习评价指标体系，一方面，可以用于指导采集学生在线行为数据以支持项目式学习中学生问题解决能力画像的构建；另一方面，也可以作为评价工具，支持线下项目式学习的开展和项目式学习平台的功能优化，以更好地采集数据支持画像的构建。
(一)应用情境
1.项目式学习分析和画像构建采集数据的依据虽然人工智能教育应用已经成为教育领域的研究重点，但是数据的收集及其质量是数据分析的基础和关键。本指标体系能够科学地引导从哪些维度采集哪些关键行为数据支持项目式学习行为分析和画像构建等工作。
2.项目式学习的评价工具
本评价指标体系包括项目式学习流程及项目任务，能够让教师和学生更清晰、直接地了解如何开展高质量的项目式学习。不仅可以支持教师开展基于项
统计检验量CMIN/DF RMSEA AGFI NFI TLI CFI 判断标准<3<0.1>0.8>0.9>0.9>0.9拟合指数 2.1230.0480.9120.9540.9710.975模型适配判断
通过
通过
通过
通过
通过
通过
GFI
>0.80.933通过
表5整体模型适配度检验摘要表92
目式学习的教学和评价，有针对性地诊断和指导学生；也能够驱动学生在科学、严谨、规范的步骤中逐渐培养像科学家一样的思考方式，并且通过了解评价目标，更好地监控和反思自己的行为是否达到指标要求。
3.项目式学习平台的评估工具
学习平台是实施项目式学习的载体之一，本评价指标体系能够用于指导完善研究支架，从而更加科学、完整地引导学生项目进程。
(二)应用案例：以构建研究性学习学生画像为例
研究性学习是中学生重要的必修课，其中项目式学习是研究性学习重要的学习模式之一。本研究基于上海市电化教育馆的支持大规模在线开放式研究型课程自适应学习系统(Massive Open Online Research System，下文简称MOORS)和研究性学习行为记录库，通过以构建研究性学习学生画像为例，简要介绍本评价指标体系的应用。其中，研究性学习学生画像构建流程图如图2所示。
图2研究性学习能力画像构建流程图
1.数据采集与预处理
本研究通过基于xAPI的研究性学习行为记录库采集数据。基于xAPI的研究性学习行为记录库整合了多个研究性学习平台的行为数据，通过该记录库采集数据，一方面能够保证采集到更完整的学生学习经历数据，另一方面能够尽可能多地采集评价指标所对应的学习数据，以支持构建更全面、精准的能力画像。
通过对采集的数据进行格式转换后，整理得到学生基本信息、课题研究、讨论和灵感笔记、资源访问、课题分享和日志行为的数据表。基于指标体系，抽取相关的行为数据，最终发现课题研究数据(学生已完成课题的基于研究支架的行为数据和报告数据)中的14个数据项能够与评价指标对应上。其中，评价指标p1、p2、p5分别对应数据项“想要解决的问题”“已经了解的信息及其途径”“提出问题的原因”,c2、c4、c5分别对应数据项“研究的意义和目的”“研究内容、方法及过程”“具体任务”,c9对应“所需设备”“收集到的资料”,c11对应“已有研究基础”“预计困难”“预期成果”,c13对应“遇到的困难及解决方法”,c19、c24分别对应“分析资料得到的观点或结论”“研究结论与反思”。
2.维度验证和数据分析
经过数据预处理之后，整理得到学生493个课题6902条数据。在画像构建之前，为了验证所采集的数据是否满足指标体系的维度划分，采用同质性检验和探索性因素分析对数据进行了分析。分析结果表明，所采集的数据的因子与指标体系的行为维度(即一级指标)相匹配，说明能够较好地支持画像的全面构建和研究过程的可视化。
学生画像的构建主要根据学生特征划分和刻画不同学生体。本研究采用聚类分析法预先对数据展开了定量分析，以支持定量能力画像的构建。通过聚类分析根据能力特征划分了不同的学生体，并基于指标体系维度，分析了不同能力特征的体在不同阶段的行为特征，以更精准地呈现学生的能力类型及特征，从而帮助教师有针对性地指导学生、学生及时调整学习行为。基于聚类分析的结果，学生能力画像类型被划分为四类，通过分析其在不同阶段的行为表现，分别将其命名为“新手类”“基本类”“能手类”和“高手类”学习者。
3.画像刻画和呈现
针对四类学生体，继续采用定性画像法，结合能力特征对照指标描述对画像进行标签刻画。其中,“新手类”体的标签包括问题解决新手、解决简单问题、基本完成任务、推理能力弱;“基本类”体的标签包括基本问题解决者、方案制定困难、收集资料困难、乐于反思;“能手类”体的标签包括解决问题能手、善于提问、善于分析、资源整合能力强;“高手类”体的标签包括解决问题高手、善于规划、善于推理、善于反思。最后结合定量和定性画像结果，构建了面向教师的体能力画像和面向学生的个人能力画像。教师重点关注的对象为“新手类”和“基本类”学生体。
六、总结与展望
为了保证项目式学习学生画像的构建质量，本研究构建了项目式学习评价指标体系，并采用问卷调研法
验证了其信效度。实践证明，该指标体系能够指导项目式学习行为数据的采集以支持学生画像的构建。
与已有研究相比，本研究构建的评价指标体系能够指导构建学生能力画像的数据采集;
关注学生问题
93
发布评论