<aside> <img src="/icons/bookmark_orange.svg" alt="/icons/bookmark_orange.svg" width="40px" />

参考资料

https://developer.nvidia.com/blog/when-to-use-encode-prefill-decode-disaggregation-to-accelerate-multimodal-model-serving

</aside>

DeepSeek V4.1 Flash的分布式部署划分为EPD,即 Encoder / Prefill / Decode 三段分离部署

image.png

机器 放什么
Encoder 机 只放 ViT 和 Aligner,输出 5120 维视觉向量
Prefill 机 主干前 20 层是主要计算,但后 20 层的权重也要留着
Decode 机 前 20 层加后 20 层都在,每个新 token 走完全部 40 层

Prefill 不能只留 Causal Encoder。prompt 的大部分 token 确实只跑前 20 层,后 20 层的全局 KV 由$H_{20}$投影得到。**但 Decoder 的滑动窗口 KV 仍要从各层自己的 hidden state 算出来,所以 prefill 还要用后 20 层把 prompt 最后 128 个 token 再跑一遍。**投影权重和这 128 个 token 的 replay 都在 Prefill 机上。

prompt 全部 token
    → 只跑前 20 层
    → H_20
    → 第 21 层:H_20 × W_21  → 该层全局 KV
    → 第 22 层:H_20 × W_22  → 该层全局 KV
    → …

滑动窗口 KV 不能这样投影。它必须来自每一层自己的 hidden state,Decode 开头的几步也要用它。窗口长度$n_{\mathrm{win}}$在模型配置里是 128,所以只把 prompt 最后 128 个 token 送进后 20 层,补出这段窗口 KV。

Vision Encoder