<aside> <img src="/icons/bookmark_orange.svg" alt="/icons/bookmark_orange.svg" width="40px" />
参考文献
DeepSeek V4.1 Flash: https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash/blob/main/DeepSeek_V41_Tech_Report.pdf
mHC: https://arxiv.org/html/2512.24880v1#S4
Engram: https://arxiv.org/html/2601.07372v1#S2.SS2
DSpark: https://arxiv.org/html/2607.05147v1#S3.SS1
</aside>
DeepSeek V4.1 Flash的核心工作,是针对长上下文 Agent(长上下文 Agent 的成本越来越集中在“读历史、存历史、搬历史”),把“处理输入的计算量、KV 缓存容量、缓存搬运开销”一起降下来,同时通过多模态预训练和大规模 Agent 后训练提升能力。
DeepSeek V4.1 Flash 主要的贡献
| 工作 | 解决的问题 | 主要做法 |
|---|---|---|
| CED 因果编码器—解码器 | 长输入的 Prefill 计算昂贵 | 大部分输入只经过前半网络,后半网络的全局 KV 直接由编码器输出生成 |
| CSA2 压缩稀疏注意力 | 各层重复存储 KV、重复检索历史 | 跨层共享全局 KV,并分开控制“重新检索”和“复用检索结果” |
| 分层稀疏索引器 | 多个索引层重复扫描完整上下文 | 第一层生成候选池,后续层只在池内重新选择 |
| FP4 KV 缓存 | 单个缓存条目仍然占空间 | 将主 KV 缓存降为约 4 bit,并在后训练中适应量化 |
| SWA Bounded Replay | 局部缓存持久化昂贵,精确恢复也昂贵 | 只重放最近一个窗口,近似恢复局部状态 |
| mHC、Engram、DSpark | 内存访问、知识存储、逐 token 生成成本 | 分别优化残差计算、条件记忆和推测解码 |
| 多模态与 Agent 训练体系 | 模型的视觉理解、实际任务执行能力不足 | 45T token 预训练,加上任务合成、可验证环境、RL 和多教师蒸馏 |
因果编码器负责把历史输入加工成可供读取的记忆,解码器负责读取这些记忆,继续计算并预测下一个 token。 两者都是因果的:处理某个位置时,都不能使用未来位置的信息。
| 因果编码器:前 20 层 | 解码器:后 20 层 | |
|---|---|---|
| 主要职责 | 加工输入,形成历史表示 | 在历史表示基础上进一步推理、生成 |
| 全局 KV 从哪里来 | Full 层从自身隐藏状态生成,其他层复用 | 从最后一层编码器输出直接投影生成,再跨层共享 |
| 局部 SWA KV 从哪里来 | 各层自己的隐藏状态 | 各层自己的隐藏状态 |
| 读入长输入时 | 处理全部输入 token | 主要处理输入末尾的短窗口 |
| 生成新 token 时 | 要执行 | 也要执行 |
最关键的区别,是解码器的全局 KV 不依赖它自身逐层计算出来的隐藏状态。
普通 Transformer 中,第 $l$ 层的 KV 来自这一层的输入表示:
$$ \mathrm{KV}_{l} = f_l(H_l) $$
所以要得到第 35 层的 KV,就必须先把输入一路计算到第 35 层。
而这篇论文的 CED 中,解码器的全局 KV 直接来自第 20 层编码器的输出:
$$ \mathrm{KV}{l}^{\mathrm{global}} = f_l(H{20}), \qquad l > 20 $$
因此,只要输入经过前 20 层,就能准备好后半网络需要的全局记忆,无须让全部输入再经过后 20 层。
官方论文 §3.2、第 19 页写到采用 Encoder–Prefill–Decode(EPD)disaggregation,让视觉编码、Prefill 和 Decode 独立扩缩容并重叠执行。
P 端:处理输入,准备可继续生成的状态
↓ 一次请求交接
D 端:接收状态,随后在本地反复执行完整 40 层生成

读入大量历史内容时,少做一半左右的主干计算;生成答案时,仍然使用完整网络。这很适合“输入很长、输出相对较短”的 Agent 场景。
降低长输入的处理成本。
把计算更多地留给生成阶段。
为跨层共享 KV 创造条件。
解码器的全局记忆统一来自编码器输出,就可以让多个解码器层读取同一套 KV,同时保留各层自己的查询 Q。
适合反复调用工具的长任务。
CSA2 最重要的变化,是把“保存历史记忆”和“选择要读哪些历史”分开控制,并让它们跨层复用。 CSA 已经能在一层内部节省注意力计算;CSA2 进一步减少不同层之间重复保存 KV、重复搜索历史的开销。
假设历史有 $N$ 个 token,普通全局注意力需要为当前查询读取全部历史 KV。
CSA,即 Compressed Sparse Attention,压缩稀疏注意力,分两步降低成本:
同时保留近期 token 的未压缩滑动窗口,补充局部细节。
因此,共同的基本流程是:

| 对象 | 作用 |
|---|---|
| 主查询 Main Q | 本层当前 token 想从历史中读取什么 |
| 主 KV:Main KV | 真正承载历史内容,供主注意力读取 |
| 索引查询 Indexer Q | 用于快速搜索历史位置 |
| 索引键 Indexer K | 每个全局条目的轻量检索表示 |
| Top-k indices | 索引器选出的条目编号 |
另外还有 SWA KV,用于保存本层近期窗口内的细粒度信息。
索引器和主注意力承担不同任务:
用抽象公式表示,对于第 $l$ 层、位置 $t$:
$$ s_{t,j}^{(l)} = g\!\left(q_{t,\mathrm{index}}^{(l)}, k_{j,\mathrm{index}}\right) $$
$$ S_t^{(l)} = \operatorname{TopK}{j}\!\left(s{t,j}^{(l)}\right) $$
然后主注意力读取:
$$ \text{选中的全局 KV}\left[S_t^{(l)}\right] \quad + \quad \text{本层局部 SWA KV} $$
这只是结构示意,省略了位置编码、归一化等实现细节。
CSA2 的核心,就是决定:哪些层需要重新产生这些对象,哪些层可以复用。
用 Full、Reindex、Reuse 三种模式,分别控制缓存生成和检索。

CSA2的三种运行模式。这三种模式的区别在于获取主KV、索引器K和Top-K索引的方式不同。绿色方块表示在当前层计算得到的量;黄色方块表示从最近一次全模式层复用的主KV和索引器K;红色方块表示从最近一次生成索引的(全模式或重索引模式)层复用的Top-K索引。所有三种模式均在当前层计算主Q和SWA KV。