Voltar

2026/11/06

Além do texto: a pesquisa Swarm Telepathy do MIT e o futuro da IA multiagente

Um preprint do MIT permite que modelos de IA de famílias diferentes troquem o KV cache em vez de texto. O que o SwaT relata, seus limites e o que a LOGIQ está avaliando.

A maioria dos sistemas de IA multiagente atuais funciona como um revezamento de bilhetes escritos. Um agente lê um documento longo, escreve um resumo e o passa adiante. O agente seguinte precisa ler esse resumo do zero antes de fazer a sua parte. Cada passagem descarta detalhes que não entraram no texto, e cada modelo receptor repete um trabalho que o remetente já fez.

Um novo preprint de pesquisadores do MIT CSAIL e do MIT-IBM Computing Research Lab testa outro tipo de passagem. Em vez de enviar prosa, um modelo envia o seu estado interno de trabalho a um modelo de outra família. Este artigo explica o que os pesquisadores fizeram, o que os números mostram e o que não mostram, e como a LOGIQ pretende examinar a ideia.

Principais pontos

  • Swarm Telepathy: Prefill-Free KV-Cache Transfer Across Families (SwaT, arXiv:2610.15095) foi submetido em 10 de outubro de 2026. É um preprint e ainda não passou por revisão por pares.
  • Um pequeno mapeador treinado converte o cache de chave-valor (KV) de um modelo em um cache que um modelo de outra família consegue usar, de modo que o receptor não precisa processar o texto original novamente.
  • Nos testes dos autores, o SwaT com compactação de cache foi, em média, cerca de 40% mais preciso do que passagens por resumo em texto e cerca de 4x mais rápido nas partes do pipeline que eles cronometraram.
  • O método exige pesos de modelo abertos, acesso ao cache interno e um mapeador treinado para cada par de modelos. Ele não conecta serviços fechados como ChatGPT e Claude.
  • A LOGIQ não adotou o SwaT. Estamos considerando uma prova de conceito isolada com modelos de pesos abertos executados localmente.

O que é um KV cache e por que enviá-lo ajuda

Quando um grande modelo de linguagem lê a sua entrada, ele calcula um conjunto de valores intermediários para cada token, chamados chaves (keys) e valores (values). Eles ficam armazenados no KV cache, e o modelo os utiliza em tudo o que gera depois. A construção desse cache é chamada de prefill e, em documentos longos, representa grande parte do custo e da espera até a primeira palavra da resposta (tempo até o primeiro token, ou TTFT).

Modelos da mesma família às vezes conseguem reutilizar o cache uns dos outros. Modelos de famílias diferentes, como Granite, Llama, Qwen ou Gemma, organizam esses valores de forma distinta, então normalmente o receptor precisa ler o texto novamente e construir o próprio cache.

O SwaT treina um mapeador de cerca de 300 milhões de parâmetros para cada par de remetente e receptor. O mapeador traduz o cache do remetente para o formato do receptor, que começa a responder diretamente a partir dele. Os dois modelos de linguagem permanecem inalterados. Segundo o artigo, treinar um mapeador exige menos de 50 milhões de tokens de texto em inglês e menos de um dia de GPU. Para manter pequeno o cache transferido, os autores combinam o SwaT com um método de compactação de cache chamado Attention Matching.

O que os pesquisadores relatam

Os autores avaliam 12 modelos de seis famílias em 17 benchmarks. Nesses benchmarks, um receptor que lê um cache do SwaT mantém mais de 90% da pontuação que obteria lendo ele mesmo o texto original.

A comparação de maior destaque é mais restrita. Para três pares de remetente e receptor, sete conjuntos de dados e cinco limites de tamanho, o SwaT com Attention Matching é comparado à abordagem usual, em que o remetente escreve um resumo em texto com o mesmo limite de tamanho. Na média dessas execuções, o SwaT obteve pontuação cerca de 40% maior. Trata-se de um ganho relativo; as pontuações gerais no artigo sobem, em média, cerca de 17 pontos. O número de cerca de 4x em velocidade abrange o tempo de GPU do remetente e o tempo até o primeiro token do receptor, e não uma carga de trabalho de produção completa de ponta a ponta.

O artigo também relata um resultado multimodal. Modelos de visão e linguagem Gemma 3 observaram uma imagem e escreveram uma legenda curta. Um receptor apenas de texto que recebeu o cache transferido respondeu a perguntas visuais melhor do que um receptor que recebeu só a legenda. Em um dos pares, a pontuação média subiu de 21,1 para 41,6. O receptor não ganhou habilidades gerais de visão e, em benchmarks que exigem detalhes finos da imagem, não superou de forma consistente o modelo de visão que enviou o cache.

Quão novo é isso?

Os autores do SwaT descrevem o método como a primeira transferência de KV cache entre famílias que permite comunicação sem prefill. Os leitores devem tratar isso como uma afirmação dos autores. Um preprint relacionado, HeteroFold (arXiv:2609.32259), foi submetido duas semanas antes e também descreve a transferência de KV cache sem prefill entre famílias de modelos. Os dois artigos usam métodos e avaliações diferentes, e nenhum deles passou ainda por revisão por pares.

Limitações, segurança e auditabilidade

Esta pesquisa não significa que agentes de IA possam ler a mente uns dos outros, nem mostra uma melhoria de 4x para qualquer sistema real, incluindo o da LOGIQ. Várias limitações importam antes que alguém use a ideia na prática:

  • Apenas acesso white-box. O método exige pesos abertos e acesso direto ao cache interno do modelo. APIs hospedadas não expõem isso, então ele não se aplica a serviços fechados como ChatGPT ou Claude.
  • Um mapeador por par. Cada combinação de remetente e receptor precisa do próprio mapeador treinado. Com muitas famílias de modelos, o número de mapeadores cresce rapidamente.
  • Passagens únicas. O artigo estuda uma transferência por vez. Cadeias de passagens, ou a combinação de mensagens de vários agentes, ficam para trabalhos futuros.
  • Suporte de runtime. A implementação pública usa PyTorch e modelos do Hugging Face. Os runtimes de serving mais comuns não oferecem esse tipo de troca de cache de forma nativa.
  • Conteúdo oculto. Os autores observam que um cache transferido pode conter informações além do que está escrito no texto do remetente e pedem pesquisas sobre auditabilidade e segurança. Um cache não pode ser lido e aprovado por uma pessoa como uma mensagem, e pode conter contexto confidencial que o remetente nunca pretendeu compartilhar.

O que a LOGIQ está avaliando

Hoje, os agentes da nossa arquitetura Relay Zero passam trabalho uns aos outros por meio de mensagens de texto explícitas. Cada mensagem pode ser lida, revisada e armazenada, e esse registro faz parte de como aprovamos mudanças e demonstramos o que foi feito. Não vamos mudar isso.

O que estamos considerando é uma pequena prova de conceito de pesquisa, isolada, entre modelos de pesos abertos em nosso próprio hardware, por exemplo no nosso servidor MS1 com Ollama, onde talvez seja possível implementar o acesso ao cache de que o SwaT precisa. Se a realizarmos, vamos compará-la com as nossas passagens atuais por texto em:

  • tempo até o primeiro token e latência total
  • precisão das respostas em nossas próprias tarefas internas
  • uso de GPU e de memória
  • rastreabilidade: se ainda conseguimos explicar e auditar o que foi passado adiante

Aprovações legíveis por pessoas, registros de revisão e evidências operacionais continuarão em texto, sejam quais forem os resultados. No máximo, uma passagem por cache poderia se tornar um caminho rápido adicional ao lado do registro escrito, nunca um substituto dele.

Fontes