<aside> <img src="/icons/bookmark_orange.svg" alt="/icons/bookmark_orange.svg" width="40px" />
参考资料
https://developer.nvidia.com/blog/when-to-use-encode-prefill-decode-disaggregation-to-accelerate-multimodal-model-serving
</aside>
DeepSeek V4.1 Flash的分布式部署划分为EPD,即 Encoder / Prefill / Decode 三段分离部署

| 机器 | 放什么 |
|---|---|
| Encoder 机 | 只放 ViT 和 Aligner,输出 5120 维视觉向量 |
| Prefill 机 | 主干前 20 层是主要计算,但后 20 层的权重也要留着 |
| Decode 机 | 前 20 层加后 20 层都在,每个新 token 走完全部 40 层 |
Prefill 不能只留 Causal Encoder。prompt 的大部分 token 确实只跑前 20 层,后 20 层的全局 KV 由$H_{20}$投影得到。**但 Decoder 的滑动窗口 KV 仍要从各层自己的 hidden state 算出来,所以 prefill 还要用后 20 层把 prompt 最后 128 个 token 再跑一遍。**投影权重和这 128 个 token 的 replay 都在 Prefill 机上。
prompt 全部 token
→ 只跑前 20 层
→ H_20
→ 第 21 层:H_20 × W_21 → 该层全局 KV
→ 第 22 层:H_20 × W_22 → 该层全局 KV
→ …
滑动窗口 KV 不能这样投影。它必须来自每一层自己的 hidden state,Decode 开头的几步也要用它。窗口长度$n_{\mathrm{win}}$在模型配置里是 128,所以只把 prompt 最后 128 个 token 送进后 20 层,补出这段窗口 KV。
mHC结构
DeepSeek v4.1 Flash EPD部署