<aside> <img src="/icons/bookmark_orange.svg" alt="/icons/bookmark_orange.svg" width="40px" />

参考文献

DeepSeek V4.1 Flash: https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash/blob/main/DeepSeek_V41_Tech_Report.pdf

mHC: https://arxiv.org/html/2512.24880v1#S4

Engram: https://arxiv.org/html/2601.07372v1#S2.SS2

DSpark: https://arxiv.org/html/2607.05147v1#S3.SS1

</aside>

DeepSeek V4.1 Flash的核心工作,是针对长上下文 Agent(长上下文 Agent 的成本越来越集中在“读历史、存历史、搬历史”),把“处理输入的计算量、KV 缓存容量、缓存搬运开销”一起降下来,同时通过多模态预训练和大规模 Agent 后训练提升能力。

DeepSeek V4.1 Flash 主要的贡献

工作 解决的问题 主要做法
CED 因果编码器—解码器 长输入的 Prefill 计算昂贵 大部分输入只经过前半网络,后半网络的全局 KV 直接由编码器输出生成
CSA2 压缩稀疏注意力 各层重复存储 KV、重复检索历史 跨层共享全局 KV,并分开控制“重新检索”和“复用检索结果”
分层稀疏索引器 多个索引层重复扫描完整上下文 第一层生成候选池,后续层只在池内重新选择
FP4 KV 缓存 单个缓存条目仍然占空间 将主 KV 缓存降为约 4 bit,并在后训练中适应量化
SWA Bounded Replay 局部缓存持久化昂贵,精确恢复也昂贵 只重放最近一个窗口,近似恢复局部状态
mHC、Engram、DSpark 内存访问、知识存储、逐 token 生成成本 分别优化残差计算、条件记忆和推测解码
多模态与 Agent 训练体系 模型的视觉理解、实际任务执行能力不足 45T token 预训练,加上任务合成、可验证环境、RL 和多教师蒸馏

CED (Causal Encoder-Decoder) 因果编码器—解码器

因果编码器负责把历史输入加工成可供读取的记忆,解码器负责读取这些记忆,继续计算并预测下一个 token。 两者都是因果的:处理某个位置时,都不能使用未来位置的信息。

因果编码器:前 20 层 解码器:后 20 层
主要职责 加工输入,形成历史表示 在历史表示基础上进一步推理、生成
全局 KV 从哪里来 Full 层从自身隐藏状态生成,其他层复用 从最后一层编码器输出直接投影生成,再跨层共享
局部 SWA KV 从哪里来 各层自己的隐藏状态 各层自己的隐藏状态
读入长输入时 处理全部输入 token 主要处理输入末尾的短窗口
生成新 token 时 要执行 也要执行

最关键的区别,是解码器的全局 KV 不依赖它自身逐层计算出来的隐藏状态。

普通 Transformer 中,第 $l$ 层的 KV 来自这一层的输入表示:

$$ \mathrm{KV}_{l} = f_l(H_l) $$

所以要得到第 35 层的 KV,就必须先把输入一路计算到第 35 层。

而这篇论文的 CED 中,解码器的全局 KV 直接来自第 20 层编码器的输出:

$$ \mathrm{KV}{l}^{\mathrm{global}} = f_l(H{20}), \qquad l > 20 $$

因此,只要输入经过前 20 层,就能准备好后半网络需要的全局记忆,无须让全部输入再经过后 20 层。


官方论文 §3.2、第 19 页写到采用 Encoder–Prefill–Decode(EPD)disaggregation,让视觉编码、Prefill 和 Decode 独立扩缩容并重叠执行。

P 端:处理输入,准备可继续生成的状态
                  ↓ 一次请求交接
D 端:接收状态,随后在本地反复执行完整 40 层生成

image.png

读入大量历史内容时,少做一半左右的主干计算;生成答案时,仍然使用完整网络。这很适合“输入很长、输出相对较短”的 Agent 场景。

  1. 降低长输入的处理成本。

  2. 把计算更多地留给生成阶段。

  3. 为跨层共享 KV 创造条件。

    解码器的全局记忆统一来自编码器输出,就可以让多个解码器层读取同一套 KV,同时保留各层自己的查询 Q。

  4. 适合反复调用工具的长任务。

CSA2 压缩稀疏注意力

CSA2 最重要的变化,是把“保存历史记忆”和“选择要读哪些历史”分开控制,并让它们跨层复用。 CSA 已经能在一层内部节省注意力计算;CSA2 进一步减少不同层之间重复保存 KV、重复搜索历史的开销。

假设历史有 $N$ 个 token,普通全局注意力需要为当前查询读取全部历史 KV。

CSA,即 Compressed Sparse Attention,压缩稀疏注意力,分两步降低成本:

  1. 压缩:将历史沿序列维度合并,每 $m$ 个 token 对应约一个全局 KV 条目,得到约 $\frac{N}{m}$ 个条目。
  2. 稀疏选择:用轻量索引器从这些条目中选出 Top-k,主注意力只读取选中的部分。

同时保留近期 token 的未压缩滑动窗口,补充局部细节。

因此,共同的基本流程是:

mermaid-diagram.png

第一项改变:用 Full、Reindex、Reuse 三种模式,分别控制缓存生成和检索。

对象 作用
主查询 Main Q 本层当前 token 想从历史中读取什么
主 KV:Main KV 真正承载历史内容,供主注意力读取
索引查询 Indexer Q 用于快速搜索历史位置
索引键 Indexer K 每个全局条目的轻量检索表示
Top-k indices 索引器选出的条目编号

另外还有 SWA KV,用于保存本层近期窗口内的细粒度信息。

索引器和主注意力承担不同任务:

用抽象公式表示,对于第 $l$ 层、位置 $t$:

$$ s_{t,j}^{(l)} = g\!\left(q_{t,\mathrm{index}}^{(l)}, k_{j,\mathrm{index}}\right) $$

$$ S_t^{(l)} = \operatorname{TopK}{j}\!\left(s{t,j}^{(l)}\right) $$

然后主注意力读取:

$$ \text{选中的全局 KV}\left[S_t^{(l)}\right] \quad + \quad \text{本层局部 SWA KV} $$

这只是结构示意,省略了位置编码、归一化等实现细节。

CSA2 的核心,就是决定:哪些层需要重新产生这些对象,哪些层可以复用。

用 Full、Reindex、Reuse 三种模式,分别控制缓存生成和检索。

CSA2的三种运行模式。这三种模式的区别在于获取主KV、索引器K和Top-K索引的方式不同。绿色方块表示在当前层计算得到的量;黄色方块表示从最近一次全模式层复用的主KV和索引器K;红色方块表示从最近一次生成索引的(全模式或重索引模式)层复用的Top-K索引。所有三种模式均在当前层计算主Q和SWA KV。

CSA2的三种运行模式。这三种模式的区别在于获取主KV、索引器K和Top-K索引的方式不同。绿色方块表示在当前层计算得到的量;黄色方块表示从最近一次全模式层复用的主KV和索引器K;红色方块表示从最近一次生成索引的(全模式或重索引模式)层复用的Top-K索引。所有三种模式均在当前层计算主Q和SWA KV。