# GPT-2からKimi K3へ

> Kimi K3の総パラメータ数はGPT-2の22,580倍だが、本質的な進歩は記憶を圧縮・更新・選択検索する仕組みにある。

_Source: ali (@waterloo_intern) architecture worklog, cross-checked against Moonshot AI's public Kimi K3 materials · 2026-07-29 · 9 min read · Verified against primary sources_

Canonical: https://iyu.app/ja/e/gpt2-to-kimi-k3-architecture

## 60秒でわかる

Kimi K3はGPT-2の22,580倍の総パラメータを持つが、本当の飛躍は圧縮再帰記憶、完全注意、疎な専門家、深さ検索の役割分担にある。

**要点**

- GPT-2型Softmax注意のKVキャッシュは文脈とともに増える。
- 線形注意は履歴を固定行列へ圧縮し、干渉と引き換えにメモリを一定にする。
- DeltaNetは古い関連を修正してから書き、ゲートが学習可能な忘却を加える。
- KDAは減衰を細粒度化し、周期的MLAが直接トークン検索を残す。
- MoEとAttnResは専門家方向と深さ方向に選択的な容量を加える。

**結論.** 22,580倍は規模の比較であり知能スコアではない。K3の核心は、各層で何を記憶し、消し、取り戻すかを選ぶことにある。

## 本文

> **i** 本稿はaliによるアーキテクチャ解説を要約し、Kimi K3の構造をMoonshot AIの公開資料と照合したものです。系譜の解釈は著者によるもので、K3の性能値は独立再現されるまでベンダー報告として扱います。


### 結論から — 22580倍大きくても22580倍賢いわけではない

Kimi K3の総パラメータ2.8兆をGPT-2の約1.24億で割ると、確かに約**22,580**になります。ただしこれは能力倍率ではありません。K3は各トークンで疎な専門家の一部だけを有効化し、7年間で記憶、ルーティング、学習方式そのものが変わりました。

- **124M** — GPT-2の基準パラメータ
- **2.8T** — Kimi K3の総パラメータ
- **22,580×** — パラメータ数の比
- **104B** — K3のトークン当たり有効パラメータ、ベンダー仕様


### 第一段階 — Softmax注意は各トークンを保持する

GPT-2型デコーダーはトークンをQuery、Key、Valueへ変換します。生成時にはKVキャッシュが過去のKeyとValueを保存し、接頭辞全体の再計算を避けます。代償は、文脈とともにキャッシュが増え、読み出しがメモリ帯域の制約になることです。

- **Softmax注意:** トークン単位のKey/Valueを保持。検索は強力だがKVキャッシュが文脈とともに増える。
- **線形注意:** 履歴を固定サイズの行列状態に折り畳む。メモリは一定だが関連が干渉する。
- **Delta則:** 現在の関連を読み、置換に必要な差分だけを書き込む。
- **ゲート:** 古い状態をいつ、どれだけ減衰させるかを学習する。


### 第二段階 — 線形注意は書庫を固定ホワイトボードに替える

線形注意は積の順序を変え、増え続ける履歴を固定行列へ要約します。トークンごとに引き出しが増える書庫を、寸法が変わらないホワイトボードへ置き換えるイメージです。持ち運びは軽くなりますが、新しい情報が古い情報を曖昧にします。

> 効率化と記憶の弱点は同じ操作から生まれる。多数のトークン関連を、一つの固定状態へ圧縮することだ。


### 第三段階 — DeltaNetは消してから書く

DeltaNetは状態を高速重みとして扱います。書き込む前に、そのKeyが現在何を読み出すかを確認し、目標との差分だけを戻します。Gated DeltaNetは学習可能な減衰を加え、特定関連の置換と広い忘却を組み合わせます。

難所は再帰を効率よく学習することです。チャンク方式では小さなブロック内で通常の注意に近い行列演算を行い、ブロック間では圧縮状態だけを渡します。FLOPsが少ない構成が、GPU上で必ず最速とは限りません。


### 第四段階 — Kimiは圧縮記憶と精密検索を混ぜる

Kimi Delta Attentionは減衰をチャネルごとに細かく制御します。Kimi K3の四層マクロサイクルは三層のKDAと一層のGated MLAで構成されます。KDAは固定サイズの再帰記憶を運び、周期的なMLAは圧縮で失われる詳細をトークン文脈から直接取り出します。

- **KDA:** 細粒度の減衰を持つ固定状態の再帰記憶。
- **周期的MLA:** 選ばれた層でSoftmax型の直接検索を残す。
- **潜在MoE:** トークンを少数の専門家へ送り、2.8兆全体を有効化せずに容量を増やす。
- **AttnRes:** 後段が過去の深さ表現を選択検索できるようにする。

> **⚑ Caveat:** MoonshotはKimi Linearで最大6倍のデコードスループットなどを報告し、K3の構造とベンチマークを公開しています。いずれも第一者測定であり、ハードウェア、カーネル、系列長、比較条件によって実測は変わります。


### 結論 — この系譜は記憶方針の進化である

重要なのはTransformerが単に巨大化したことではありません。各段階は、何をトークン単位で残すか、何を圧縮するか、何を上書きするか、いつ高価な精密検索を使うかを決めています。K3は22,580個のGPT-2の山ではなく、疎な計算を備えた混合記憶システムです。


## Primary sources

- [ali (@waterloo_intern) — 22580: From GPT2 to Kimi3, Explained](https://x.com/waterloo_intern/status/2081762065392541951)
- [Moonshot AI — Kimi K3 official repository](https://github.com/MoonshotAI/Kimi-K3)
- [Moonshot AI — Kimi K3 model card](https://huggingface.co/moonshotai/Kimi-K3)

---
_Published by iyu (https://iyu.app) — the day's AI news, checked against primary sources and rewritten in plain language. Free to quote with attribution and a link to the canonical URL._