给问题打分:评题量规
好问题不靠感觉,靠一把公开的尺子——拿量规给问题打分、改到高分。
学习证据 学完后,怎么核对?
把学习结果留在一个可以回看、可以复做的动作里;这一区只写学生能自己检查的证据。
如何核对
- 论证拆解或量规评分
- 来源核验记录
适用边界
论证与证据框架是检查工具;不能替代学科方法、原始材料或专业审查。
最后复核
这是内容复核日期,不是学习截止日期。
讲
例子两位老师,谁的打分更可信
同一个学生问题,两位老师评:甲说「嗯,这问题挺好的,很有深度」;乙说「它在功能轴是 3 级(在探作者假设),但真实性只有 1 级(其实指向确定答案),接续 2 级」。换个人再评一次,谁的结果更可能一致?
乙。「挺好的」是印象分——换个老师、换个心情,结论就飘。
名词乙手里那把尺叫量规:把评价拆到四条轴、每轴对照可查的级别。不同的人用同一把尺子能得到接近的结果,这叫评分者信度——量规的全部价值就在这:把「好」从一个人的品味,变成一群人可复现的判定。
定义量规=四轴 0–3 + 三件制度
尺子本体就是上一子模块装好的四轴判据表(功能/深度/真实性/接续,各 0–3)。让尺子不走样的,是三件制度:
| 制度 | 怎么做 |
|---|---|
| 判例式定档 | 不背定义,援引锚点例句——「为什么是这档、不是上一档」必须说得出口,像法官援引判例 |
| 双盲校准 | 两人独立评同一批问题 → 算一致率 → 分歧处就是描述模糊处 → 改写量规 → v2(量规信度的通用做法,见 Jonsson & Svingby 2007 的综述) |
| 起点预期 | 心理学家 Kuhn 访谈过大量普通人(《The Skills of Argument》1991):多数人——包括成人——分不清「我主张什么」和「我有什么证据」,也想不出像样的反方理由。所以 0–1 级扎堆是常态起点不是失败;这类技能不会自然长出来,但可教可练(《Education for Thinking》2005)——盯升档幅度,不盯绝对分 |
泛化量规的两个下游
给自己:有了尺子,「练提问」才有练的对象——本主题最后一课会用它做整套复盘工作流。给 AI:把量规原文发给 AI,让它当教练:「用这套四轴量规评我接下来的每个问题,指出最低的轴,并示范怎么拉高一档。」这类指令,只有先有量规才写得出来——尺子在,AI 才能从答题机器变成陪练。
例
补充三例——两个常见用法,一个易错。
小雨和朵朵拿同一批问题做双盲互评,其中一问是:「如果把《红楼梦》后四十回换成别人续写的另一版,主题会变吗?」两人独立打分后对表:
- 功能轴:都给 3(探假设与蕴含)——一致。
- 深度轴:都给 3(要综合全书多线索评判)——一致。
- 真实性轴:小雨给 3,朵朵给 1——分歧。
吵了两分钟发现:小雨按「答案空间」判(无预设答案,值得重新论证=3);朵朵按「利害」判(「这答案又不改变你做什么」=1)。分歧不是谁错了,是量规上「真实性=答案空间×利害」这行描述太模糊——两个分量没说清怎么合。她们改写成「两个分量分别打分、取平均」,记为 v2。下一批问题的一致率立刻上去了。
这就是双盲校准的完整一轮:分歧是尺子送来的维修单,不是争吵的理由。顺便注意她们的自评起点:第一批 10 个问题里 7 个停在 0–1 级——完全正常,两周后再评,升档的幅度才是要盯的数。
小舟把四轴量规原文发给 AI:「用它评我接下来的每个问题,指出最低的轴,并示范怎么拉高一档。」他随口问「氧化还原反应的重点是什么」,AI 按量规回话:「功能轴 0 档——索取已知信息。示范拉高:课本说氧化是失电子——那干电池的两极,哪边在发生氧化?我该拿什么证据判断?(功能升到探证据,深度进单线推理。)」同一把尺,评完自己还能调教 AI——没有量规,这条陪练指令根本写不出来。
小组互评时阿凯手速最快:「感觉挺深」就给 3,「一般般」就给 1——对表时他和谁都对不上;追问「为什么是 3 不是 2」,他答不出。错在哪:量规的可复现性全靠判例式定档——每个分数都要援引锚点例句、说得出「为什么不是上一档」。跳过援引直接给数,只是给印象分穿上了数字的马甲。修法很朴素:先指锚点,再落档位——慢一点的分,才是能对表的分。
做
第一次用量规自评,你 10 个问题里 7 个落在 0–1 级。这说明什么?
- 从你的 AI 对话记录里挑 5 个自己问过的问题,抄成一张清单。
- 找一个同学(或家人),两人独立用四轴量规给这 5 问打分——不许商量。
- 对表算一致率:20 格里对上几格?分歧最大的那格,说出各自援引的锚点。
- 把分歧处的量规描述改写一句,记为你们的 v2。(找不到搭档?自己评完隔两天再盲评一次,和自己对表。)
怎么算过关:有一致率数字;至少找到一处分歧并说清「分歧出在量规哪句描述」;v2 改写落在纸面上。
卡
让量规不走样的三件制度是什么?
判例式定档(援引锚点,说得出为什么不是上一档)、双盲校准(独立评→算一致率→分歧处改写)、起点预期(0–1 扎堆是常态,盯升档不盯绝对分)。
- 「挺好的」是印象分;带锚点的四轴分,换个人评也接近——这叫评分者信度。
- 分歧是尺子送来的维修单:改写模糊描述,量规就升级一版。
- 把量规喂给 AI,它就能按轴推你——尺子在,陪练才成立。