Estudo compara attention em 13 LLMs e encontra melhor resultado com 17%

O que aconteceu e o que fazer

Publicado em 12 de outubro de 2025, o estudo relata o treinamento de 13 LLMs com diferentes proporções de attention convencional e DeltaNet linear attention. Nos experimentos, 17% de attention, distribuídos em duas de 12 camadas, produziram o melhor resultado observado. O achado pode orientar decisões sobre o equilíbrio entre os dois mecanismos em arquiteturas de modelos.

Uma empresa que desenvolve ou adapta modelos pode aplicar essa abordagem em uma avaliação controlada: comparar configurações de camadas com métricas ligadas ao seu uso, registrar custo e desempenho e acompanhar resultados em um painel. Assim, decisões de arquitetura podem se apoiar em testes do próprio contexto, sem presumir que a melhor configuração do estudo será universal.

Como a consultoria pode ajudar

A Wendelmaques pode diagnosticar a oportunidade, definir um plano de comparação de arquiteturas e implementar a coleta, avaliação e visualização dos resultados. O escopo pode incluir a operação contínua dos testes na infraestrutura do cliente.

Próximo passo

Envie uma breve descrição do modelo, do uso previsto e das restrições da sua equipe para receber uma proposta com escopo definido.