显影· 三主题树 · 高中 术语表

给问题打分:评题量规

好问题不靠感觉,靠一把公开的尺子——拿量规给问题打分、改到高分。

⏱ 10–15 分钟讲 · 例 · 做 · 卡编号 hs-ask-08
学习证据 学完后,怎么核对? 如何核对 · 适用边界 · 最后复核

把学习结果留在一个可以回看、可以复做的动作里;这一区只写学生能自己检查的证据。

如何核对

  • 论证拆解或量规评分
  • 来源核验记录

适用边界

论证与证据框架是检查工具;不能替代学科方法、原始材料或专业审查。

最后复核

这是内容复核日期,不是学习截止日期。

例子两位老师,谁的打分更可信

同一个学生问题,两位老师评:甲说「嗯,这问题挺好的,很有深度」;乙说「它在功能轴是 3 级(在探作者假设),但真实性只有 1 级(其实指向确定答案),接续 2 级」。换个人再评一次,谁的结果更可能一致?

乙。「挺好的」是印象分——换个老师、换个心情,结论就飘。

名词乙手里那把尺叫量规:把评价拆到四条轴、每轴对照可查的级别。不同的人用同一把尺子能得到接近的结果,这叫评分者信度——量规的全部价值就在这:把「好」从一个人的品味,变成一群人可复现的判定

定义量规=四轴 0–3 + 三件制度

尺子本体就是上一子模块装好的四轴判据表(功能/深度/真实性/接续,各 0–3)。让尺子不走样的,是三件制度:

制度怎么做
判例式定档不背定义,援引锚点例句——「为什么是这档、不是上一档」必须说得出口,像法官援引判例
双盲校准两人独立评同一批问题 → 算一致率 → 分歧处就是描述模糊处 → 改写量规 → v2(量规信度的通用做法,见 Jonsson & Svingby 2007 的综述)
起点预期心理学家 Kuhn 访谈过大量普通人(《The Skills of Argument》1991):多数人——包括成人——分不清「我主张什么」和「我有什么证据」,也想不出像样的反方理由。所以 0–1 级扎堆是常态起点不是失败;这类技能不会自然长出来,但可教可练(《Education for Thinking》2005)——盯升档幅度,不盯绝对分

泛化量规的两个下游

给自己:有了尺子,「练提问」才有练的对象——本主题最后一课会用它做整套复盘工作流。给 AI:把量规原文发给 AI,让它当教练:「用这套四轴量规评我接下来的每个问题,指出最低的轴,并示范怎么拉高一档。」这类指令,只有先有量规才写得出来——尺子在,AI 才能从答题机器变成陪练。

核心句:量规=四轴 0–3 + 判例式定档、双盲校准、起点预期三件制度——把「好问题」从品味变成可复现的判定;0–1 扎堆是常态起点,盯升档不盯绝对分。

补充三例——两个常见用法,一个易错。

例一 · 常见用法:一轮完整的双盲校准

小雨和朵朵拿同一批问题做双盲互评,其中一问是:「如果把《红楼梦》后四十回换成别人续写的另一版,主题会变吗?」两人独立打分后对表:

  • 功能轴:都给 3(探假设与蕴含)——一致。
  • 深度轴:都给 3(要综合全书多线索评判)——一致。
  • 真实性轴:小雨给 3,朵朵给 1——分歧。

吵了两分钟发现:小雨按「答案空间」判(无预设答案,值得重新论证=3);朵朵按「利害」判(「这答案又不改变你做什么」=1)。分歧不是谁错了,是量规上「真实性=答案空间×利害」这行描述太模糊——两个分量没说清怎么合。她们改写成「两个分量分别打分、取平均」,记为 v2。下一批问题的一致率立刻上去了。

这就是双盲校准的完整一轮:分歧是尺子送来的维修单,不是争吵的理由。顺便注意她们的自评起点:第一批 10 个问题里 7 个停在 0–1 级——完全正常,两周后再评,升档的幅度才是要盯的数。

例二 · 常见用法:把量规喂给 AI,换一个私人陪练

小舟把四轴量规原文发给 AI:「用它评我接下来的每个问题,指出最低的轴,并示范怎么拉高一档。」他随口问「氧化还原反应的重点是什么」,AI 按量规回话:「功能轴 0 档——索取已知信息。示范拉高:课本说氧化是失电子——那干电池的两极,哪边在发生氧化?我该拿什么证据判断?(功能升到探证据,深度进单线推理。)」同一把尺,评完自己还能调教 AI——没有量规,这条陪练指令根本写不出来。

例三 · 易错:打分不援引锚点,量规退化成印象分

小组互评时阿凯手速最快:「感觉挺深」就给 3,「一般般」就给 1——对表时他和谁都对不上;追问「为什么是 3 不是 2」,他答不出。错在哪:量规的可复现性全靠判例式定档——每个分数都要援引锚点例句、说得出「为什么不是上一档」。跳过援引直接给数,只是给印象分穿上了数字的马甲。修法很朴素:先指锚点,再落档位——慢一点的分,才是能对表的分。

第一次用量规自评,你 10 个问题里 7 个落在 0–1 级。这说明什么?

上机 · 15 分钟
  1. 从你的 AI 对话记录里挑 5 个自己问过的问题,抄成一张清单。
  2. 找一个同学(或家人),两人独立用四轴量规给这 5 问打分——不许商量。
  3. 对表算一致率:20 格里对上几格?分歧最大的那格,说出各自援引的锚点。
  4. 把分歧处的量规描述改写一句,记为你们的 v2。(找不到搭档?自己评完隔两天再盲评一次,和自己对表。)

怎么算过关:有一致率数字;至少找到一处分歧并说清「分歧出在量规哪句描述」;v2 改写落在纸面上。

复习卡 · 点一下翻面

让量规不走样的三件制度是什么?

答案

判例式定档(援引锚点,说得出为什么不是上一档)、双盲校准(独立评→算一致率→分歧处改写)、起点预期(0–1 扎堆是常态,盯升档不盯绝对分)。

  • 「挺好的」是印象分;带锚点的四轴分,换个人评也接近——这叫评分者信度。
  • 分歧是尺子送来的维修单:改写模糊描述,量规就升级一版。
  • 把量规喂给 AI,它就能按轴推你——尺子在,陪练才成立。