Serving de modelos MoE com AWS EFA
Em 6 de novembro de 2025, um artigo da Perplexity descreveu kernels para servir modelos MoE em várias GPUs da AWS usando EFA, sem GPUDirect Async.
Fonte: Perplexity cria kernels de inferência MoE para AWS EFA (x.com). Texto preparado com IA a partir dessa fonte.
O que aconteceu e o que fazer
Em 6 de novembro de 2025, um artigo da Perplexity apresentou kernels de expert parallelism para servir grandes modelos MoE em várias GPUs da AWS usando EFA. A abordagem agrupa operações de dispatch e combine na GPU em escritas RDMA e usa uma thread proxy no host para coordenar transferências junto ao grouped GEMM, num cenário em que o EFA não oferece GPUDirect Async.
Para uma empresa que opera modelos MoE em múltiplos nós, a resposta prática é avaliar a rede, o padrão de comunicação entre GPUs e o serving atual. Pode-se instrumentar dispatch, combine e GEMM, monitorar latência e utilização e, se necessário, implementar e testar kernels e uma camada de serving adequados à infraestrutura disponível.
Como a consultoria pode ajudar
A Wendelmaques pode diagnosticar a arquitetura de serving e a exposição a gargalos de comunicação, definir um escopo de implementação e apoiar a operação de instrumentação, monitoramento e kernels na infraestrutura do cliente.
Próximo passo
Envie uma descrição breve da sua infraestrutura e do desafio de serving para receber uma proposta com escopo definido.
Vamos avaliar seu projeto
Respondo com escopo e proposta.