# CRAFT：把评分标准变成模型的「待办清单」

> 一种新方法深挖评测细则，不只找出模型「在哪里」失败，还能定位它到底缺哪项底层能力，再生成精准针对这个短板的训练数据。

_Source: arXiv preprint (author-reported experiments) · 2026-07-21 · 7 min read_

Canonical: https://iyu.app/zh/e/craft-rubric-capability-diagnosis

## 60 秒版本

CRAFT 挖掘评分细则里的每条评分标准,诊断出模型具体的薄弱能力,再生成正好瞄准这些缺口的微调数据。

**要点**

- 把每条评分标准当作一项能力的探针,再聚成一棵层级技能树。
- 在每个节点给模型打分,并跨层级动态挑出薄弱点——选在每个失败最清楚的放大层级。
- 在金融与法律的 4 个开源模型上,用 CRAFT 诊断重训的模型击败了提示词层的 EvalTree 和随机练习数据(作者自报结果)。
- 注意:单篇预印本、自报数字,且需要已有基于评分细则的评测才能用。

**结论.** 一个锋利的重构——在「标准」层而非「提示词」层做诊断——把评测变成一份有针对性的训练计划。有前景,但尚未复现。

## 全文

> **⚑ Caveat:** 下文所有结果均为**作者在一篇 arXiv 预印本中自报**(提交于 2026 年 7 月 17 日),尚无独立复现,且不同领域的收益参差——请把这些数字当作「有前景」,而非「已成定论」。


### 问题 — 评测只说「在哪失败」,不说「为什么」

把模型跑一遍基准,你会知道它在某些题、某些话题或某类问题上考砸了。你**得不到**的,是背后的原因——是法律推理弱?算术马虎?还是格式出错?失败的真正成因始终被留白。而只要你说不出坏掉的是哪项能力,就无法可靠地修它,也无法为下一轮训练生成对症的练习数据。

> 多数评测告诉你模型**在哪里**失败,却很少告诉你它**到底不会什么**。


### 巧思 — 每一条评分标准都是一个能力探针

CRAFT(聚类评分标准以诊断薄弱能力并生成针对性微调数据)从一个简单的重构出发。严肃的评测往往是**基于评分细则**的:每道题都配着一组由裁判勾选的评分标准。CRAFT 把每一条标准——比如「正确适用诉讼时效」——都看作一次对某项具体能力的测量,而不只是一个勾选框。

- **提取**——读遍每个「提示词+评分标准」的组合,为每条标准写下它所测能力的朴素描述。
- **聚类**——把这成千上万条描述聚成一棵层级**能力树**:宽泛的能力在顶端,细窄的在叶子。
- **打分**——在树的每个节点上评估目标模型。
- **选点**——**跨层级动态地**挑出表现差的节点,在每个短板最清楚的粒度上去选。
- **生成**——用这些薄弱节点去指导有针对性的微调数据生成。


### 优雅之处 — 短板藏在不同的放大层级上

模型的盲区并不都在同一分辨率上。有时一整根宽枝都弱,有时只有一片窄叶弱。CRAFT 不像提示词层或类别层方法那样预先固定放大倍数,而是逐个失败地选择「海拔」,在短板暴露得最锐利处去读它。产出是一份针对该模型的诊断,而这份诊断同时就是一份「该造哪些练习数据」的指令清单。


### 有效吗? — 重训后的模型,留出集上验证

在固定数据生成、微调和评测设置的前提下,作者让 CRAFT 对阵 **EvalTree**(在更粗的提示词层聚类)和纯**随机**(不加针对)的数据生成。他们在金融与法律领域、四个开源模型上测试,并在 13 个刻意与诊断数据不相交的**留出基准**上打分——让模型无法靠背题取巧。

- **设置:** 含义
- **4 个开源模型:** 被诊断并微调的对象
- **2 个领域:** 金融与法律
- **13 个留出基准:** 与诊断数据不相交
- **金融结果:** CRAFT 在全部 4 个模型上取得最强领域平均分
- **法律结果:** 4 个中 3 个最强;第 4 个在波动区间之内

金融领域是最干净的胜利;法律更参差,但从未明显落后。一致的结论是:在**评分标准**层面(而非提示词或类别)做诊断,既给出了「模型不会什么」的更锐利画面,也在依此微调后带来了可测量的更好模型。

> **✎** 这套方法需要先有一份可供挖掘的、基于评分细则的评测。如果你的评测只有一个准确率分数、没有评分标准,CRAFT 就没有可逆向的东西。


### 为何重要 — 从「给模型打分」到「替它写作业」

更大的转变是把闭环合上。只产出一个分数的评测是死胡同;而一个能产出「按合适粒度排好序的缺失技能清单」的评测,就成了下一轮训练的第一步。CRAFT 不再问模型**在哪里**失败,而是问它**到底不会什么**——然后把补课的练习册直接递给你。


## Primary sources

- [CRAFT — arXiv:2607.16122](http://arxiv.org/abs/2607.16122v1)

---
_Published by iyu (https://iyu.app) — the day's AI news, checked against primary sources and rewritten in plain language. Free to quote with attribution and a link to the canonical URL._