HySparse2 reduz custo de contexto longo com reuso de KV
Publicado em 23 de setembro de 2026, o post descreve dois níveis de compartilhamento de KV para reduzir FLOPs de prefill e tamanho do cache, com melhores scores de retrieval que o Hybrid SWA do MiMo-V2.6 em contexto de 1 milhão de tokens.
Fonte: HySparse2 usa compartilhamento de KV em inferência com contexto longo (arxiv.org). Texto preparado com IA a partir dessa fonte.
O que aconteceu e o que fazer
Publicado em 23 de setembro de 2026, o post apresenta o HySparse2, que compartilha KV entre decoders e reutiliza KV entre camadas sparse e de full attention. Segundo o relato, o desenho reduz os FLOPs de prefill e o tamanho do KV cache, além de obter melhores scores de retrieval que a arquitetura Hybrid SWA do MiMo-V2.6 com 1 milhão de tokens, em workloads agentic com contexto crescente.
Uma empresa que opera inferência com contextos longos pode avaliar essas técnicas por meio de benchmarks com seus modelos e cargas reais. É possível implementar coleta de métricas de latência, uso de memória, custo de prefill e qualidade de retrieval, comparar estratégias de cache e expor os resultados em dashboards para orientar mudanças na infraestrutura.
Como a consultoria pode ajudar
A Wendelmaques pode diagnosticar custos e gargalos de inferência com contexto longo, definir um escopo de benchmark e implementar a coleta de métricas, os testes comparativos e os dashboards necessários.
Próximo passo
Envie uma breve descrição do seu caso de inferência ou dos custos de contexto longo para receber uma proposta com escopo definido.
Vamos avaliar seu projeto
Respondo com escopo e proposta.