博客

ChatGPT雅思作文评分准吗?73篇官方评分作文实测

先说结论:ChatGPT可以用来粗略估分,但平均与官方评分相差0.86分,而且多数时候给分偏低。

作文纸与围绕评分目标排列的玻璃测量柱。
0.86平均绝对误差
73篇官方评分作文
47.9%误差不超过0.5分
76.7%误差不超过1分
直接结论

ChatGPT可以辅助练习,但IELTS Writing Checker的估分更接近官方评分

我们把73篇有可核验官方评分的作文连同完整题目一起交给ChatGPT;需要看图的题目也附上原图,并且不让它看到官方分数。最终,ChatGPT的预估分数平均与官方结果相差0.86分。

两种工具给出的都只是预估分数,不能当作官方成绩,也不能保证你在真实考试中会得到多少分。真正值得比较的是,同一批作文中谁更接近官方评分:IELTS Writing Checker平均相差0.49分,ChatGPT平均相差0.86分;误差不超过0.5分的比例分别为78.1%和47.9%。

IELTS Writing Checker和ChatGPT的评分差距有多大?

在同一批73篇官方评分作文中,IELTS Writing Checker平均更接近官方评分,落在0.5分和1分误差范围内的次数也更多。

与官方评分的平均距离同一批73篇官方评分作文
越低越好平均误差低0.37分
ChatGPT0.86
误差不超过0.5分的比例同一批73篇官方评分作文
越高越好高30.2个百分点
ChatGPT47.9%
误差不超过1分的比例同一批73篇官方评分作文
越高越好高12.3个百分点
ChatGPT76.7%

平均误差0.86分,对你自己的作文意味着什么?

它表示在这73篇作文中,ChatGPT预估分数与官方评分平均相距0.86分,并不表示每一篇新作文都会刚好相差0.86分:有些完全一致,有些相差更大。

换成次数来看,73次评分中有35次与官方结果相差不超过0.5分,56次相差不超过1分。如果你的目标分数关系到申请、复议或报考安排,就不应只依据一次ChatGPT评分做决定。

我们和ChatGPT在Task 1、Task 2相差多少?

在A类Task 1、G类Task 1和Task 2中,IELTS Writing Checker的平均误差都更低。下图使用同一个从零开始的刻度,可以直接比较差距。

A类Task 1图表作文n=25 · 统一刻度:0–1.20分
越低越好
ChatGPT0.82
G类Task 1书信n=14 · 统一刻度:0–1.20分
越低越好
ChatGPT0.75
Task 2大作文n=34 · 统一刻度:0–1.20分
越低越好
ChatGPT0.94

换成三组不同官方材料,差距仍然存在

无论是IELTS官网样本、Official IELTS Practice Materials,还是剑桥雅思18–20,IELTS Writing Checker都更接近官方评分。不过两种方式都会随材料来源出现变化,因此不能把平均误差理解成每篇作文固定相差多少。

IELTS官网评分样本n=27 · 统一刻度:0–1.20分
越低越好
ChatGPT1.07
Official IELTS Practice Materialsn=20 · 统一刻度:0–1.20分
越低越好
ChatGPT0.58
剑桥雅思18–20n=26 · 统一刻度:0–1.20分
越低越好
ChatGPT0.87

ChatGPT给雅思作文的分数偏高还是偏低?

在这批作文中,ChatGPT明显更常给低分:73篇中有61篇低于官方评分,9篇完全一致,只有3篇高于官方评分;平均评分偏差为−0.82分,而IELTS Writing Checker为−0.10分。

这只是7月这次测试呈现的规律,并不是永久结论。ChatGPT会更新,换一种提问方式也可能得到不同结果。但至少在这批样本中,不能简单认为ChatGPT总会把较弱的作文评得更高。

平均向下评分偏差与0分偏差的距离;越接近0,说明系统性低估越少
越低越好向下偏差少0.72分
ChatGPT−0.82

测试时如何向ChatGPT提问

每次测试都提交完整题目和作文,并直接询问预估总分与简短说明。

测试时的英文提问格式

Can you grade this IELTS [Academic or General Training] Writing [Task 1 or Task 2] response? Please give an estimated overall band score from 0 to 9 in 0.5 increments and briefly explain your assessment.

上面展示的是测试时的英文提问格式。换成中文,意思是请ChatGPT为这篇雅思作文估算0到9分、以0.5分为一档的总分,并简要解释判断依据。完整题目和作文放在这两句话之后;A类Task 1图表题会附上原图,并在第一句话中注明需要结合图片评分。

需要更稳定估分时,直接使用IELTS Writing Checker

在同一批73篇官方评分作文中,IELTS Writing Checker的平均误差更低,落在0.5分误差内的比例也更高。你可以直接用它完成一次从评分到修改、再到复查的练习。

练习流程

  1. 把完整题目和作文粘贴到IELTS Writing Checker;A类Task 1如果包含图表、地图、流程图或示意图,同时附上原图。
  2. 查看预估总分和四项雅思写作评分反馈,先找出当前最影响分数的问题。
  3. 根据逐句修改建议和下一步行动,优先处理两三项最影响表达清晰度和分数的问题。
  4. 修改作文后再次批改,对比两个版本,确认重要问题是否已经解决。
用IELTS Writing Checker批改作文

73篇实测是怎么进行的?

测试方法

  1. 我们使用了当时能够按照现行雅思写作评分规范完整核验的全部73篇公开官方评分作文,不是从中挑选更有利的样本。
  2. 每篇都提交完整题目和作文,但隐藏官方分数;依赖图片的A类Task 1同时附上原图。
  3. 记录ChatGPT给出的预估总分后,再与官方评分比较;计算方式与我们的四产品准确率对比完全相同。

关于ChatGPT雅思作文评分的常见问题

ChatGPT给雅思作文评分准吗?

它可以提供粗略参考,但在73篇官方评分作文测试中,平均与官方结果相差0.86分,只有47.9%的评分落在0.5分误差内。因此,不能把一次评分当作官方成绩预测。

怎么让ChatGPT检查雅思作文?

ChatGPT可以读取完整题目和作文,但本次实测中,它平均与官方评分相差0.86分。如果你需要更连贯的练习流程,IELTS Writing Checker会同时提供预估总分、四项评分反馈和逐句修改建议。

ChatGPT给雅思作文的分数偏高还是偏低?

本次测试中偏低:73篇里有61篇低于官方评分,平均评分偏差为−0.82分。换提示词或产品更新后,这个规律可能改变。

ChatGPT能代替雅思考官吗?

不能。ChatGPT可以辅助练习,但不能给出官方成绩,而且预估分数可能与官方评分有明显差距。重要决定应结合官方评分标准和额外的专业反馈。

查看完整数据和官方依据

四产品完整对比文章说明了共同使用的样本和计算方法;你也可以继续查看73篇官方评分作文和雅思写作评分标准。