Au-delà du texte : la recherche Swarm Telepathy du MIT et l’avenir de l’IA multi-agents

Un preprint du MIT permet à des modèles d’IA de familles différentes d’échanger leur KV cache plutôt que du texte. Ce que rapporte SwaT, ses limites et ce qu’évalue LOGIQ.

La plupart des systèmes d’IA multi-agents actuels fonctionnent comme un relais de notes écrites. Un agent lit un long document, rédige un résumé et le transmet. L’agent suivant doit relire ce résumé depuis le début avant de pouvoir faire sa part. Chaque passage de relais perd des détails qui n’ont pas été mis par écrit, et chaque modèle destinataire refait un travail que l’émetteur a déjà accompli.

Un nouveau preprint de chercheurs du MIT CSAIL et du MIT-IBM Computing Research Lab teste un autre type de passage de relais. Au lieu de transmettre de la prose, un modèle transmet son état de travail interne à un modèle d’une autre famille. Cet article explique ce que les chercheurs ont fait, ce que leurs chiffres montrent et ne montrent pas, et comment LOGIQ compte examiner l’idée.

Qu’est-ce qu’un KV cache, et pourquoi le transmettre est utile

Lorsqu’un grand modèle de langage lit son entrée, il calcule pour chaque token un ensemble de valeurs intermédiaires appelées clés (keys) et valeurs (values). Elles sont stockées dans le KV cache, et le modèle s’en sert pour tout ce qu’il génère ensuite. La construction de ce cache s’appelle le prefill ; pour les longs documents, elle représente une grande part du coût et du délai avant le premier mot de la réponse (time to first token, ou TTFT).

Des modèles d’une même famille peuvent parfois réutiliser le cache les uns des autres. Des modèles de familles différentes, comme Granite, Llama, Qwen ou Gemma, organisent ces valeurs différemment ; le destinataire doit donc normalement relire le texte et construire son propre cache.

SwaT entraîne un convertisseur d’environ 300 millions de paramètres pour chaque paire émetteur-destinataire. Le convertisseur traduit le cache de l’émetteur dans le format du destinataire, qui commence directement à répondre à partir de celui-ci. Les deux modèles de langage restent inchangés. D’après l’article, l’entraînement d’un convertisseur demande moins de 50 millions de tokens de texte en anglais et moins d’une journée-GPU. Pour que le cache transféré reste compact, les auteurs combinent SwaT avec une méthode de compaction du cache appelée Attention Matching.

Ce que rapportent les chercheurs

Les auteurs évaluent 12 modèles issus de six familles sur 17 benchmarks. Sur ces benchmarks, un destinataire qui lit un cache SwaT conserve plus de 90 % du score qu’il obtiendrait en lisant lui-même le texte d’origine.

La comparaison mise en avant est plus restreinte. Pour trois paires émetteur-destinataire, sept jeux de données et cinq budgets de taille, SwaT avec Attention Matching est comparé à l’approche habituelle, dans laquelle l’émetteur rédige un résumé textuel avec le même budget de taille. En moyenne sur ces exécutions, SwaT a obtenu un score environ 40 % plus élevé. Il s’agit d’un gain relatif ; les scores globaux de l’article augmentent en moyenne d’environ 17 points. Le chiffre d’environ 4 fois plus rapide porte sur le temps GPU de l’émetteur et le time to first token du destinataire, et non sur une charge de travail de production complète de bout en bout.

L’article rapporte aussi un résultat intermodal. Des modèles vision-langage Gemma 3 ont regardé une image et rédigé une courte légende. Un destinataire purement textuel ayant reçu le cache transféré a mieux répondu aux questions visuelles qu’un destinataire qui n’avait reçu que la légende. Sur une paire, le score moyen est passé de 21,1 à 41,6. Le destinataire n’a pas acquis de capacités visuelles générales et, sur les benchmarks qui exigent des détails fins de l’image, il n’a pas surpassé de manière constante le modèle de vision qui avait envoyé le cache.

Est-ce vraiment nouveau ?

Les auteurs de SwaT présentent leur méthode comme le premier transfert de KV cache entre familles permettant une communication sans prefill. Il faut le considérer comme une affirmation des auteurs. Un preprint apparenté, HeteroFold (arXiv:2609.32259), a été soumis deux semaines plus tôt et décrit lui aussi un transfert de KV cache sans prefill entre familles de modèles. Les deux articles utilisent des méthodes et des évaluations différentes, et aucun n’a encore été évalué par les pairs.

Limites, sécurité et auditabilité

Cette recherche ne signifie pas que des agents d’IA peuvent lire dans les pensées les uns des autres, et elle ne démontre pas un gain d’un facteur 4 pour un système réel, y compris celui de LOGIQ. Plusieurs limites comptent avant d’utiliser l’idée en pratique :

• Accès en boîte blanche uniquement. La méthode nécessite des poids ouverts et un accès direct au cache interne du modèle. Les API hébergées ne l’exposent pas ; elle ne s’applique donc pas à des services fermés comme ChatGPT ou Claude.
• Un convertisseur par paire. Chaque combinaison émetteur-destinataire nécessite son propre convertisseur entraîné. Avec de nombreuses familles de modèles, le nombre de convertisseurs augmente rapidement.
• Passages de relais uniques. L’article étudie un seul transfert à la fois. Les chaînes de passages de relais, ou la fusion de messages provenant de plusieurs agents, sont laissées à des travaux futurs.
• Prise en charge par les runtimes. L’implémentation publique utilise PyTorch et des modèles Hugging Face. Les runtimes de service courants ne proposent pas ce type d’échange de cache en standard.
• Contenu caché. Les auteurs notent qu’un cache transféré peut contenir des informations allant au-delà de ce qui est écrit dans le texte de l’émetteur, et appellent à des recherches sur l’auditabilité et la sûreté. Un cache ne peut pas être lu et approuvé par une personne comme un message, et il peut contenir un contexte confidentiel que l’émetteur n’a jamais voulu partager.

Ce qu’évalue LOGIQ

Aujourd’hui, les agents de notre architecture Relay Zero se transmettent le travail au moyen de messages textuels explicites. Chaque message peut être lu, relu et conservé, et cette trace fait partie de la manière dont nous approuvons les changements et montrons ce qui a été fait. Nous ne changeons pas cela.

Ce que nous envisageons, c’est une petite preuve de concept de recherche, isolée, entre modèles open-weight sur notre propre matériel, par exemple sur notre serveur MS1 avec Ollama, où il serait peut-être possible de mettre en place l’accès au cache dont SwaT a besoin. Si nous la menons, nous la comparerons à nos passages de relais textuels actuels sur :

• le time to first token et la latence totale
• la précision des réponses sur nos propres tâches internes
• l’utilisation du GPU et de la mémoire
• la traçabilité : pouvons-nous encore expliquer et auditer ce qui a été transmis

Quels que soient les résultats, les approbations lisibles par des humains, les traces de relecture et les preuves opérationnelles resteront sous forme de texte. Au mieux, un passage de relais par cache pourrait devenir une voie rapide supplémentaire à côté de la trace écrite, jamais un remplacement de celle-ci.

Sources

• Alabdulkareem et al., Swarm Telepathy: Prefill-Free KV-Cache Transfer Across Families, arXiv:2610.15095 (preprint, octobre 2026)
• Implémentation officielle : github.com/Ar-Kareem/SwaT
• Yun et al., Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs (HeteroFold), arXiv:2609.32259 (preprint, septembre 2026)