# CRAFT:採点ルーブリックをモデルの「やることリスト」に変える > 評価基準の細目を読み込み、モデルが「どこで」失敗したかだけでなく、どの土台となる能力を欠いているかを突き止め、その弱点だけを狙った学習データを生成する新手法。 _Source: arXiv preprint (author-reported experiments) · 2026-07-21 · 7 min read_ Canonical: https://iyu.app/ja/e/craft-rubric-capability-diagnosis ## 60秒でわかる CRAFT はルーブリック評価の中の各採点基準を掘り起こしてモデルの具体的な弱点能力を診断し、そのギャップだけを狙う微調整データを生成する。 **要点** - 各採点基準を一能力のプローブとして扱い、階層的なスキルの木にまとめる。 - 各ノードでモデルを採点し、弱点を層をまたいで動的に選ぶ——各失敗が最もはっきりするズームで。 - 金融と法律の 4 つのオープンモデルで、CRAFT の診断で再学習したモデルはプロンプト層の EvalTree とランダム練習データに勝った(著者の自己申告)。 - 留意点:一本のプレプリント、自己申告の数字、そして既存のルーブリック評価が前提。 **結論.** 「プロンプト層」ではなく「基準層」で診断するという鋭い捉え直しが、評価を狙い撃ちの学習計画に変える。有望だが未再現。 ## 本文 > **⚑ Caveat:** 以下の結果はすべて**著者による一本の arXiv プレプリントでの自己申告**(2026 年 7 月 17 日投稿)です。独立の再現はまだなく、領域によって伸びにばらつきがあります——数字は「有望」であって「確定」ではないと捉えてください。 ### 問題 — 評価は「どこで失敗したか」しか言わない モデルをベンチマークに通せば、ある設問・話題・カテゴリで成績が悪いことは分かる。**分からない**のはその理由だ——法的推論が弱いのか、算術が雑なのか、書式のミスなのか。失敗の本当の原因は暗黙のまま残る。そして壊れている能力を名指しできなければ、確実に直すことも、次の学習に向けた的確な練習データを作ることもできない。 > 多くの評価はモデルが**どこで**失敗するかを教えるが、**何ができないか**はめったに教えない。 ### 仕掛け — 採点基準の一つひとつが能力プローブ CRAFT(弱い能力を診断し狙い撃ちの微調整データを生成するルーブリック・クラスタリング)は、シンプルな捉え直しから始まる。まじめな評価はしばしば**ルーブリックに基づく**——各設問には採点者がチェックする採点基準が付く。CRAFT は各基準——たとえば「消滅時効を正しく適用する」——を、単なるチェック欄ではなく、特定の一能力の測定として扱う。 - **抽出**——すべての「プロンプト+採点基準」の組を読み、各基準が測る能力の素朴な説明を書き出す。 - **クラスタリング**——その何千もの説明を階層的な**能力の木**にまとめる:広い能力は上、細かい能力は葉に。 - **採点**——木の各ノードで対象モデルを評価する。 - **選択**——成績の悪いノードを**層をまたいで動的に**選び、各弱点が最もはっきりする粒度で選ぶ。 - **生成**——それらの弱いノードを使って、狙い撃ちの微調整データ生成を導く。 ### 優雅な点 — 弱点は異なるズーム層に潜む モデルの盲点は同じ解像度にそろっていない。太い枝が丸ごと弱いこともあれば、細い葉が一枚だけ弱いこともある。CRAFT はプロンプト層やカテゴリ層の手法のように倍率を先に固定せず、失敗ごとに「高度」を選び、弱点が最も鋭く現れる場所でそれを読む。出力はそのモデル固有の診断であり、その診断はそのまま「どんな練習データを作るべきか」の指示書になる。 ### 効くのか? — 再学習したモデルを、ホールドアウトで検証 データ生成・微調整・評価の設定を固定したうえで、著者は CRAFT を **EvalTree**(より粗いプロンプト層でクラスタリング)と、狙いを定めない**ランダム**なデータ生成に対決させる。金融と法律の領域、四つのオープンソースモデルで検証し、診断データとわざと交わらない 13 の**ホールドアウトベンチマーク**で採点する——丸暗記でごまかせないようにだ。 - **設定:** 意味 - **4 つのオープンモデル:** 診断・微調整の対象 - **2 領域:** 金融と法律 - **13 のホールドアウト:** 診断データと交わらない - **金融の結果:** CRAFT が 4 モデルすべてで領域平均最強 - **法律の結果:** 4 つ中 3 つで最強;残り 1 つも変動の帯の中 金融は最もきれいな勝ち。法律はばらつくが、明確に負けたことはない。一貫した筋書きはこうだ:プロンプトやカテゴリではなく**採点基準**の層で診断することが、「モデルに何ができないか」のより鋭い像と、それに基づく微調整後の測定可能に優れたモデルの両方をもたらす。 > **✎** この手法は、まず掘り起こせるルーブリックベースの評価が必要だ。評価が正解率のスコアだけで採点基準がなければ、CRAFT が逆算する材料がない。 ### なぜ重要か — 「採点する」から「宿題を書いてあげる」へ より大きな転換は、ループを閉じることだ。スコアしか出さない評価は行き止まり。だが「適切な粒度で並べた欠けている能力のリスト」を出す評価は、次の学習の第一歩になる。CRAFT はモデルが**どこで**失敗するかではなく、**何ができないか**を問い——そして補習用の練習帳をそのまま手渡してくれる。 ## Primary sources - [CRAFT — arXiv:2607.16122](http://arxiv.org/abs/2607.16122v1) --- _Published by iyu (https://iyu.app) — the day's AI news, checked against primary sources and rewritten in plain language. Free to quote with attribution and a link to the canonical URL._