收稿日期：2020-11-18 1  研究背景写作自动评分是指利用计算机技术对作文进行评估与计分。自动写作评估系统的研究可以追溯到20世纪60年代中期，国外作文自动评分技术及应用方面具有代表性的有五种系统： PEG （Project Essay Grade ）、IEA （Intelligent Essay Grade ）、E-rater 、IntelliMetric 和BETSY （Bayesian Essay Test Scoring System ）（梁茂成 等，2007）。国内的写作自动评价技术的发展也不容小觑，已经广泛应用于英语写作评阅及反馈过程中。然而，对自动作文评分系统的质疑批评之声一直不断。当前，社会对自动作文评分最大的质疑就是作文评分是一项非常主观的高级智能活动，而机器实际上是不可能完全理解作文的。因此，将自动写作评估系统应用到写作教学中的研究出现了三种不同的声音。第一种声音认为自动写作评估系统通过提供个性化的错误反馈以及语法、拼写、句子和词汇使用的解释说明，给学习者提供了更多的写作实践机会，从而可以提高学习者的写作质量和能力水
平（石晓玲，2012）。智能个性化的写作反馈是有效的。然而，也有一些研究者对自动评分
系统的评价和反馈持否定态度，对自动评分系统的评分标准和原则提出了质疑，认为这样的反馈评价方式“违背了写作中人与人之间交流在线英语写作自动评价系统反馈有效性及优化策略
□  耿娟娟
咸阳师范学院外国语学院
[摘  要] 在线英语写作自动评价系统已经被越来越广泛地应用在英语写作教学中，为教师和学习者提供个性化的写作反馈。基于此背景，本研究从反馈信息有效性六大原则，即及时性、正确性、针对性、相关性、多功能性以及可接受性的维度探讨在线英语写作自动评价系统的反馈效度及影响因素，并提出拓展反馈信息维度、构建立体化的评价体系的策略。
[关键词] 在线英语写作；自动评价系统；有效性；策略
[中图分类号] H319  [文献标识码] A  　[文章编号] 1009-6167（2021）13-0087-03的本质”。而且在线英语写作评估及反馈也
存在一定的不足之处，如相对于机器评估，
学习者同样期待获得教师的评价；学习者对于智能评分系统能否真正地帮助他们提高写作能力持怀疑态度。第三种声音则持中立的立场，倾向于客观分析自动评分系统的优势和不足（胡学文，2015）。鉴于此，本文以句酷批改网为例，依据英语写作反馈信息有效性的六大原则，探讨在线英语写作自动评价系统反馈的效度，并在此基础上提出优化策略。句酷批改网是国内技术团队开发的比较知名的作文自动评分系统，该系统基于语料库系统大数据，以SAAS （Software as a Service ）提交即批改的方式为学习者提供即时的作文在线自动批阅及反馈服务。其原理是通过对比学生作文和标准语料库之间的距离，并通过一定的算法将之映射成分数和点评。批改网认为作文分数重要，但具体的反馈和建议更重要，因为
后者使得学生知道如何去修改（徐欣，2003）。
2  写作评价反馈有效性原则本文从反馈的时效性、反馈的质和量、反馈方式以及后续影响作用等维度提出有效的反馈信息应满足的条件，即反馈的及时性、正确作者简介：耿娟娟，硕士，讲师。研究方向：二语习得、英语写作教学。
基金项目：陕西省教育厅人文社科项目“在线英语写作自动评价反馈的有效性研究”（编号18JK0821）及咸阳师范学院青年骨干教
师项目（XSYGG201706）的部分研究成果。
性、针对性、相关性、多功能性及可接受性。2.1 及时性及时性是指学习者完成英语写作与接收到评价反馈信息的间隔不宜过长，并且评价反馈信息应该贯穿写作过程始终。在传统的“教师布置作业—学生完成并上交—教师批阅—教师反馈—学生查看反馈意见”的流程中，反馈信息通常滞后一两周或者更久，这无疑让教师反馈对学生写作水平的促进作用大打折扣。批改网在学习者提交作文后，可以立即实时给出相应的分数和修改建议，让学习者第一时间接收到反馈，便于其对作文进行自我修改和完善。2.2 正确性反馈信息的语言措辞应该是准确无误的，不应模糊不清或者含有语言错误及误导信息，其本身应该是语言使用的范例，可以增加学生有效信息的输入。批改网基于语料库的大数据对比分析，在语法、词汇拼写、搭配等层面错误的识别上相对成熟并且具有较高的准确性。同时，批改网对于中国特表达，比如“reform and opening up ”（改革开放）也进行了特别提示。2.3 针对性针对性是指反馈信息应该具体、细致，可操作性、实用性强，应避免千篇一律。批改网的一大特就是按句点评，以句子为单位给出修改意见。它不仅有语法错误识别功能，还有高频搭配推荐、易混词汇拓展辨析、同义词或近义词替换建议等反馈功能。同时，批改网用学习者的母语直接显性地反馈作文评语和修改意见，可以让学习者更好地理解反馈信息，尽可能减少英语反馈给较低语言水平的学生造成的理解错位或者障碍，从而帮助
学生从反馈信息中获得最大的收益。2.4 相关性反馈应与写作任务、学习者写作能力相关。超出学生目前写作水平的反馈可能会造成学生认知上的负担，进而影响学生的写作自信和自我效能感。相反，低于学生写作水平的反馈将会让学生失去写作的动力，不利于学生英语写作水平的提高。从中介语的视角来看，写作反馈（i+1）应稍高于学生目前已有的英语水平（i ），这样才能帮助学生有效提升写作水平。批改网对具有不同写作目的和评价标准的英语写作任务，设置有“打分公式”的选项，囊括了目前国内外不同层次、不同水平的众多英语考试中的写作评分标准。批改网可以根据相应的评分标准和权重对学习者的习作进行打分反馈，具有较高的相关性。2.5 多功能性反馈除了最主要的纠错功能之外，还应具有多种教学和交际功能。批改网除了按句点评的反馈纠错之外，在整体评语中也体现出了反馈的激励作用，比如：“采用了适当的衔接手法，层次清晰；作者句法知识掌握得不够好，可适当增加从句的使用；作者词汇基础扎实，拼写也很棒”。该评语指出学习者对句法知识的掌握有所欠缺，但同时从词汇拼写使用、结构衔接的层面对学习者的写作水平给予了肯定，这种积极的反馈信息有利于增强学生写作的自信和效能感。2.6 可接受性可接受性是指学生易于接受，它可以促使学生作出积极反应，比如积极修改、重写和进行多稿写作等。 批改网的系统多次修改功能可以提高学生的自我修订意识，使学生成为写作活动的主体、主动的参与者。学习者可以根据批改网提供的反馈信息，采纳修改建议，完善作文并再次提交，其作文评价分数会在反复提交中不断提高，这样就能激励学习者进行多次有效的文本修改，从而提升学生写作反思能力和修改能力。 3  影响智能反馈有效性的因素批改网的智能反馈在上文提及的六个维度上都是具有较高效度的，但同时其效度也受内在和外在因素的影响。具体而言，内在因素包括智能批
阅系统的技术水平层次或智能化程度，外在因素是指使用者对于评价反馈的态度和反应（何旭良，2013）。
3.1 反馈的覆盖面
对作文进行评分一般至少需要从三个方面衡量作文的整体质量：语言、内容和篇章结构。如果一个作文自动评分系统在评价过程中
没能很好地兼顾这三个方面，那么其评分的结构效度值得怀疑（罗莉 等，2020）。有实证研究结果显示批改网对学生语法、词汇、技术性细节方面的提升较大，而对学生写作的内容
质量、逻辑结构和篇章布局的促进作用十分有限。也就是说，批改网在语言维度上的纠错能力是相对来说较为成熟和先进的，但是在内容逻辑性、连贯性以及篇章结构方面是稍显逊的，从而在一定程度上影响了评分的效度。
3.2 反馈的内核技术
在线自动反馈的正确率受制于计算机语言处理技术的新进展和新突破，早期的技术多采用对比技术，语言错误的识别率、正确率和反馈的准确率有限，但随着语料库的发展，当下主流的英语写作自动反馈技术多采用语料库技术，使用的是包含不同语体、不同语境、不同题材及体裁的英语写作文本库（李萌萌
等，2020）。该语料库不以语言使用的正确性为唯一标准。语言搭配中的地道性和目标表达在该语境中是否属于高频搭配都是在线写作反馈的维度之一。因此，语料库技术及相关领域的发展为在线反馈的有效性提供了技术支持。
3.3 反馈的可信任度
写作反馈是一个涉及多维度的诊断性评价，除了认知维度如识别语言使用错误，还包括学习者的情感维度等。在二语习得领域的相关研究中，学习者的情感态度在外语学习过程中起着过滤、调节等多重作用。也就是说，写作反馈除了在认知维度上对学习者的学习产出有帮助，还需要考虑到学习者对写作反馈的情感接受度、信任度和采纳度，从而推进学习持续有效发生。因此，反馈语言应多以积极鼓励为主，让学习者看到自己的点滴进步，进而强化写作自信，提升自我效能感，产生自主学习的动力。相反，如果反馈多是消极、晦涩难懂的术语，那么它将不利于学习者写作自信心的建立，并且会阻碍学生对反馈的积极内化。
4 优化策略
鉴于在线英语写作反馈的优缺点，笔者不提倡用在线写作反馈完全替代教师反馈，同时也不提倡完全放弃在线写作反馈的优势。最优的处理策略是有效地结合教师反馈、在线机器反馈、同伴反馈及自我反馈等多元反馈资源，从而最大化地实现英语写作反馈的促学效应。
学习者完成写作后，首先需要将作文提交至在线评阅系统，根据在线反馈进一步完善英语写作质量，这一步主要是让学生就一些写作中的语言细节，比如大小写、时态一致、固定搭配等问题进行修改。然后第二步是进行同伴评议反馈，主要聚焦于文章的内在逻辑性是否严密、语言是否连贯等。完成第二步之后，教师再进行进一步的篇章逻辑方面的反馈。
这样的三级英语写作评议体系可以最大程度地发挥各个评价主体的优势，有利于培养学习者的读者意识，促使学生对同一篇文章进行多角度、多层次的审视。
5 结语
本文采用英语写作反馈有效性的框架，探讨在线英语写作评级反馈的效度及其对学习者的英语写作动机和自我修改意识的促进作用，并就可能影响在线英语写作反馈效度的因素进行分析，提出基于在线写作评价反馈、同伴互评反馈、教师反馈的三级大学英语写作评价反馈体系。该多元评价反馈体系对大学生英语写作积极性和自主性有着积极的提升作用，最终有利于促进学习者英语写作水平的提高。参考文献
[1] 何旭良. 句酷批改网英语作文评分的信度和效度研
究[J]. 现代教育技术，2013，23（5）：64-67. [2] 胡学文. 在线作文自我修改对大学生英语写作结果
的影响[J]. 外语电化教学，2015（3）：45-49. [3] 李萌萌，李莹. 基于大数据的在线自动评价系统
对大学生英语写作能力的影响研究[J]. 黑龙江教育（理论与实践），2020（3）：88-92.
[4] 梁茂成，文秋芳. 国外作文自动评分系统评述及启
示[J]. 外语电化教学，2007（5）：18-24.
李萌萌
[5] 罗莉，郑丹清. 基于在线自动评价系统的大学英
语写作模式构建[J]. 英语广场，2020（30）：104-106.
[6] 石晓玲. 在线写作自动评改系统在大学英语写作教
学中的应用研究——以句酷批改网为例[J]. 现代教育技术，2012，22（10）：67-71.
[7] 徐欣. 纠正作文错误——以学生为中心[J]. 国外外语
教学，2003（2）：48-51.
（特约编辑：赵雪纯）