# LLM有稀疏奖励坐标吗

> 预印本用探针与激活干预发现少量隐藏状态坐标可追踪答案价值和逐步奖励误差；神经科学名称只是类比，结果尚未经同行评审。

_Source: Unreviewed arXiv preprint; existence and metadata verified against arXiv and OpenAlex, findings not independently replicated · 2026-09-22 · 7 min read_

Canonical: https://iyu.app/zh/e/llm-sparse-reward-neurons-preprint

## 60 秒版本

一篇未同行评审的预印本称，训练探针可找到追踪价值和奖励预测误差的稀疏、可干预LLM坐标。

**要点**

- 作者报告，部分剪枝测试中不到1%的坐标仍保留探针表现。
- 定向消融大幅降低一个Qwen模型的MATH500准确率。
- 信心预测和引导搜索在选定设置中有小幅提升。
- 坐标集合依赖探针、层、任务和奖励定义。
- 神经科学名称只是类比，不证明多巴胺或意识。

**结论.** 这是有潜力的机制可解释性假说，尚不是经过同行评审和独立复现的奖励系统发现。

## 全文

> **⚑ Caveat:** 这是一篇尚未经同行评审、未找到独立复现的arXiv预印本。“价值神经元”和“多巴胺神经元”是作者对激活坐标的类比命名；模型没有多巴胺或生物奖励回路。


### 研究方法 — 用探针寻找隐藏状态中的奖励信号

作者在Transformer隐藏状态上训练小型探针。一个估计未完成答案最终答对的概率，另一个估计推理步骤之间的时序差分误差。

- **价值坐标:** 因探针用其预测最终正确性或期望价值而被选出。
- **TD误差坐标:** 因激活追踪推理步骤间预计成功率变化而被选出。
- **稀疏性检验:** 移除探针低权重输入，观察保留预测能力所需的最少维度。
- **干预检验:** 把特定层的选中激活归零，再测任务准确率。


### 主要发现 — 不到1%往往保留预测信号

在作者报告的多个模型与基准组合中，大幅剪枝后，少量坐标仍维持相近探针表现。实验涉及数学、代码和指令遵循，但并非每项测试都覆盖所有模型。

- **<1%** — 部分剪枝实验所需坐标
- **75.2%** — 一次消融前MATH500准确率
- **20.3%** — 定向消融后的层间平均
- **77.8%** — 一次引导搜索准确率

> **⚑ Caveat:** 所有性能数字均为预印本作者自报。探针、坐标排序和奖励标签参与定义结果，仍需独立复现。


### 如何理解 — 可解码不等于生物子系统

Transformer坐标是计算中的数值。“神经元”是简称；“多巴胺神经元”只表示数学上类似奖励预测误差，不表示化学、解剖或体验。

> 论文报告的是稀疏奖励相关表征，不是模型内部出现了一颗大脑。


### 证据限制 — 一般机制尚未得到证明

- **预印本状态：**未找到同行评审或独立复现。
- **依赖探针：**选中坐标随探针和剪枝规则变化。
- **特征纠缠：**消融也可能破坏同坐标承载的其他功能。
- **应用范围窄：**过程奖励搜索只在有限基准设置演示。
- **没有心智证据：**实验不涉及意识、快乐或动机。


### 下一步 — 复现应检验唯一性和迁移性

后续应加入非线性和因果基线，在不重新选择坐标时测试无关架构，并验证同一稀疏集合能否预测基准之外的失败。现阶段应把它视为可检验的可解释性提案。


## Primary sources

- [Telegram post 1499](https://t.me/CNSmydream/1499)
- [arXiv preprint v2](https://arxiv.org/abs/2602.00986v2)
- [arXiv PDF](https://arxiv.org/pdf/2602.00986v2)
- [arXiv API record](https://export.arxiv.org/api/query?id_list=2602.00986)
- [OpenAlex record](https://api.openalex.org/works/https://doi.org/10.48550/arXiv.2602.00986)

---
_Published by iyu (https://iyu.app) — the day's AI news, checked against primary sources and rewritten in plain language. Free to quote with attribution and a link to the canonical URL._