ChatGPT可以辅助练习,但IELTS Writing Checker的估分更接近官方评分
我们把73篇有可核验官方评分的作文连同完整题目一起交给ChatGPT;需要看图的题目也附上原图,并且不让它看到官方分数。最终,ChatGPT的预估分数平均与官方结果相差0.86分。
两种工具给出的都只是预估分数,不能当作官方成绩,也不能保证你在真实考试中会得到多少分。真正值得比较的是,同一批作文中谁更接近官方评分:IELTS Writing Checker平均相差0.49分,ChatGPT平均相差0.86分;误差不超过0.5分的比例分别为78.1%和47.9%。
IELTS Writing Checker和ChatGPT的评分差距有多大?
在同一批73篇官方评分作文中,IELTS Writing Checker平均更接近官方评分,落在0.5分和1分误差范围内的次数也更多。
平均误差0.86分,对你自己的作文意味着什么?
它表示在这73篇作文中,ChatGPT预估分数与官方评分平均相距0.86分,并不表示每一篇新作文都会刚好相差0.86分:有些完全一致,有些相差更大。
换成次数来看,73次评分中有35次与官方结果相差不超过0.5分,56次相差不超过1分。如果你的目标分数关系到申请、复议或报考安排,就不应只依据一次ChatGPT评分做决定。
我们和ChatGPT在Task 1、Task 2相差多少?
在A类Task 1、G类Task 1和Task 2中,IELTS Writing Checker的平均误差都更低。下图使用同一个从零开始的刻度,可以直接比较差距。
换成三组不同官方材料,差距仍然存在
无论是IELTS官网样本、Official IELTS Practice Materials,还是剑桥雅思18–20,IELTS Writing Checker都更接近官方评分。不过两种方式都会随材料来源出现变化,因此不能把平均误差理解成每篇作文固定相差多少。
ChatGPT给雅思作文的分数偏高还是偏低?
在这批作文中,ChatGPT明显更常给低分:73篇中有61篇低于官方评分,9篇完全一致,只有3篇高于官方评分;平均评分偏差为−0.82分,而IELTS Writing Checker为−0.10分。
这只是7月这次测试呈现的规律,并不是永久结论。ChatGPT会更新,换一种提问方式也可能得到不同结果。但至少在这批样本中,不能简单认为ChatGPT总会把较弱的作文评得更高。
测试时如何向ChatGPT提问
每次测试都提交完整题目和作文,并直接询问预估总分与简短说明。
测试时的英文提问格式
Can you grade this IELTS [Academic or General Training] Writing [Task 1 or Task 2] response? Please give an estimated overall band score from 0 to 9 in 0.5 increments and briefly explain your assessment.
上面展示的是测试时的英文提问格式。换成中文,意思是请ChatGPT为这篇雅思作文估算0到9分、以0.5分为一档的总分,并简要解释判断依据。完整题目和作文放在这两句话之后;A类Task 1图表题会附上原图,并在第一句话中注明需要结合图片评分。
需要更稳定估分时,直接使用IELTS Writing Checker
在同一批73篇官方评分作文中,IELTS Writing Checker的平均误差更低,落在0.5分误差内的比例也更高。你可以直接用它完成一次从评分到修改、再到复查的练习。
练习流程
- 把完整题目和作文粘贴到IELTS Writing Checker;A类Task 1如果包含图表、地图、流程图或示意图,同时附上原图。
- 查看预估总分和四项雅思写作评分反馈,先找出当前最影响分数的问题。
- 根据逐句修改建议和下一步行动,优先处理两三项最影响表达清晰度和分数的问题。
- 修改作文后再次批改,对比两个版本,确认重要问题是否已经解决。
73篇实测是怎么进行的?
测试方法
- 我们使用了当时能够按照现行雅思写作评分规范完整核验的全部73篇公开官方评分作文,不是从中挑选更有利的样本。
- 每篇都提交完整题目和作文,但隐藏官方分数;依赖图片的A类Task 1同时附上原图。
- 记录ChatGPT给出的预估总分后,再与官方评分比较;计算方式与我们的四产品准确率对比完全相同。
关于ChatGPT雅思作文评分的常见问题
ChatGPT给雅思作文评分准吗?
它可以提供粗略参考,但在73篇官方评分作文测试中,平均与官方结果相差0.86分,只有47.9%的评分落在0.5分误差内。因此,不能把一次评分当作官方成绩预测。
怎么让ChatGPT检查雅思作文?
ChatGPT可以读取完整题目和作文,但本次实测中,它平均与官方评分相差0.86分。如果你需要更连贯的练习流程,IELTS Writing Checker会同时提供预估总分、四项评分反馈和逐句修改建议。
ChatGPT给雅思作文的分数偏高还是偏低?
本次测试中偏低:73篇里有61篇低于官方评分,平均评分偏差为−0.82分。换提示词或产品更新后,这个规律可能改变。
ChatGPT能代替雅思考官吗?
不能。ChatGPT可以辅助练习,但不能给出官方成绩,而且预估分数可能与官方评分有明显差距。重要决定应结合官方评分标准和额外的专业反馈。
查看完整数据和官方依据
四产品完整对比文章说明了共同使用的样本和计算方法;你也可以继续查看73篇官方评分作文和雅思写作评分标准。
