CRAFT:採点ルーブリックをモデルの「やることリスト」に変える

問題評価は「どこで失敗したか」しか言わない

モデルをベンチマークに通せば、ある設問・話題・カテゴリで成績が悪いことは分かる。分からないのはその理由だ——法的推論が弱いのか、算術が雑なのか、書式のミスなのか。失敗の本当の原因は暗黙のまま残る。そして壊れている能力を名指しできなければ、確実に直すことも、次の学習に向けた的確な練習データを作ることもできない。

多くの評価はモデルがどこで失敗するかを教えるが、何ができないかはめったに教えない。

仕掛け採点基準の一つひとつが能力プローブ

CRAFT(弱い能力を診断し狙い撃ちの微調整データを生成するルーブリック・クラスタリング)は、シンプルな捉え直しから始まる。まじめな評価はしばしばルーブリックに基づく——各設問には採点者がチェックする採点基準が付く。CRAFT は各基準——たとえば「消滅時効を正しく適用する」——を、単なるチェック欄ではなく、特定の一能力の測定として扱う。

• 抽出——すべての「プロンプト+採点基準」の組を読み、各基準が測る能力の素朴な説明を書き出す。
• クラスタリング——その何千もの説明を階層的な能力の木にまとめる:広い能力は上、細かい能力は葉に。
• 採点——木の各ノードで対象モデルを評価する。
• 選択——成績の悪いノードを層をまたいで動的に選び、各弱点が最もはっきりする粒度で選ぶ。
• 生成——それらの弱いノードを使って、狙い撃ちの微調整データ生成を導く。

優雅な点弱点は異なるズーム層に潜む

モデルの盲点は同じ解像度にそろっていない。太い枝が丸ごと弱いこともあれば、細い葉が一枚だけ弱いこともある。CRAFT はプロンプト層やカテゴリ層の手法のように倍率を先に固定せず、失敗ごとに「高度」を選び、弱点が最も鋭く現れる場所でそれを読む。出力はそのモデル固有の診断であり、その診断はそのまま「どんな練習データを作るべきか」の指示書になる。

効くのか?再学習したモデルを、ホールドアウトで検証

データ生成・微調整・評価の設定を固定したうえで、著者は CRAFT を EvalTree(より粗いプロンプト層でクラスタリング)と、狙いを定めないランダムなデータ生成に対決させる。金融と法律の領域、四つのオープンソースモデルで検証し、診断データとわざと交わらない 13 のホールドアウトベンチマークで採点する——丸暗記でごまかせないようにだ。

金融は最もきれいな勝ち。法律はばらつくが、明確に負けたことはない。一貫した筋書きはこうだ:プロンプトやカテゴリではなく採点基準の層で診断することが、「モデルに何ができないか」のより鋭い像と、それに基づく微調整後の測定可能に優れたモデルの両方をもたらす。

なぜ重要か「採点する」から「宿題を書いてあげる」へ

より大きな転換は、ループを閉じることだ。スコアしか出さない評価は行き止まり。だが「適切な粒度で並べた欠けている能力のリスト」を出す評価は、次の学習の第一歩になる。CRAFT はモデルがどこで失敗するかではなく、何ができないかを問い——そして補習用の練習帳をそのまま手渡してくれる。