8 de outubro de 2026 · x.com
LMCache reutiliza cache KV entre GPU, CPU e disco
Em 30 de janeiro de 2026, a descrição do projeto open source LMCache apresentou uma extensão para serving de LLMs que reaproveita estados KV entre GPUs, CPUs e discos locais, inclusive para fragmentos de texto repetidos que não sejam apenas prefixos.