Throughput de inferência: SGLang e vLLM em GPUs A6000
Um post publicado em 4 de agosto de 2024 relata throughput maior com SGLang do que com vLLM em quatro GPUs A6000, mas desempenho semelhante em batches menores.
Fonte: Comparação de throughput entre SGLang e vLLM em GPUs A6000 (x.com). Texto preparado com IA a partir dessa fonte.
O que aconteceu e o que fazer
Em um post de 4 de agosto de 2024, um engenheiro relata ter substituído o vLLM pelo SGLang em um pipeline local de geração de dados. Com Mistral Large 2 em 4 bits, executado em quatro GPUs A6000, obteve cerca de 1.100 tokens por segundo com SGLang, contra menos de 750 com vLLM. Em batches menores, o desempenho foi semelhante. O relato mostra que o serving engine e o tamanho do batch podem alterar o throughput no mesmo hardware e modelo.
Uma empresa pode medir essas variáveis com uma avaliação controlada em sua própria infraestrutura, usando cargas representativas e métricas de latência, throughput, custo e uso de GPU. O resultado pode orientar a configuração do serving e o dimensionamento da capacidade, sem presumir que uma única opção seja melhor para todos os padrões de uso.
Como a consultoria pode ajudar
A Wendelmaques pode diagnosticar a carga de inferência e a infraestrutura, definir uma avaliação comparativa com critérios e métricas adequados e implementar o serving e o monitoramento. O escopo pode incluir operação contínua e ajustes conforme as cargas mudem.
Próximo passo
Envie uma breve descrição da sua carga de inferência e da infraestrutura disponível para receber uma proposta com escopo definido.
Vamos avaliar seu projeto
Respondo com escopo e proposta.