Cursor divulga a tecnologia de otimização de inferência MoE Warp Decode, aumentando a taxa de transferência em 1,84 vezes na GPU Blackwell

De acordo com a monitorização da 1M AI News, a ferramenta de programação com IA Cursor publicou um blogue técnico, descrevendo o seu próprio método de aceleração de inferência para MoE (modelos de especialistas mistos) chamado Warp Decode. Este método, direcionado ao cenário de geração de tokens em lotes pequenos em GPUs NVIDIA Blackwell, inverte a estratégia de paralelização tradicional centrada nos especialistas, passando a ser centrada na saída: em cada warp (a menor unidade de escalonamento constituída por 32 unidades de processamento em paralelo), a GPU calcula apenas um valor de saída, percorre de forma independente todos os especialistas que foram encaminhados e faz as acumulações diretamente nos registos, sem necessidade de qualquer sincronização entre warps nem buffers intermédios.

O pipeline tradicional de inferência MoE tem 8 etapas no total, das quais 5 são apenas para transportar dados para a perspetiva dos especialistas, não executando qualquer cálculo real. O Warp Decode comprime toda a camada de computação MoE em 2 CUDA kernels, eliminando passos intermédios como preenchimento, dispersão e junção; para cada token, reduz mais de 32KB de leituras e escritas em buffers intermédios.

Em testes reais numa GPU NVIDIA B200 com um modelo no estilo Qwen-3, o Warp Decode alcança um aumento de 1,84x no throughput de descodificação ponta-a-ponta, e, por realizar todo o processamento com precisão BF16/FP32 e evitar perdas de quantificação intermédias, a precisão da saída aproxima-se 1,4x do valor de referência em FP32. Em termos de utilização da largura de banda do hardware, quando o tamanho do lote é 32, o throughput sustentado atinge 3,95 TB/s, cerca de 58% do pico de largura de banda da B200 (6,8 TB/s). Esta otimização acelerou diretamente o ciclo de desenvolvimento e a cadência de lançamento de versões do modelo de programação proprietário Composer da Cursor.