月之暗面這手 Prefill-as-a-Service 玩得挺花，把預填充扔去遠端跑，本地只留解碼，帶寬壓力直接砍半，長上下文場景的性價比終於能看了。

ME News 報導，月之暗面與清華在 arXiv 提出 Prefill-as-a-Service，將大模型推理的預填充階段跨數據中心運行。通過混合注意力模型顯著降低 KV 緩存吞吐，使緩存可經以太網傳輸並回傳本地集群解碼。PrfaaS 架構組建獨立預填充集群，只路由長上下文未命中請求，短請求留本地 PD；並引入長度閾值路由、帶寬感知調度。實測 1T 參數混合模型，吞吐比同構 PD 提升 54%，比樸素異構提升 32%。