Zurück

2026/11/06

Mehr als Text: die Swarm-Telepathy-Forschung des MIT und die Zukunft der Multi-Agenten-KI

Ein MIT-Preprint lässt KI-Modelle verschiedener Familien ihren KV-Cache statt Text austauschen. Was SwaT berichtet, wo die Grenzen liegen und was LOGIQ prüft.

Die meisten Multi-Agenten-KI-Systeme funktionieren heute wie ein Staffellauf mit handgeschriebenen Notizen. Ein Agent liest ein langes Dokument, schreibt eine Zusammenfassung und gibt sie weiter. Der nächste Agent muss diese Zusammenfassung von Grund auf lesen, bevor er seinen Teil erledigen kann. Bei jeder Übergabe gehen Details verloren, die es nicht in den Text geschafft haben, und jedes empfangende Modell wiederholt Arbeit, die der Absender bereits erledigt hat.

Ein neues Preprint von Forschenden des MIT CSAIL und des MIT-IBM Computing Research Lab erprobt eine andere Art der Übergabe. Statt Fließtext übergibt ein Modell seinen internen Arbeitszustand an ein Modell aus einer anderen Familie. Dieser Artikel erklärt, was die Forschenden getan haben, was ihre Zahlen zeigen und was nicht, und wie LOGIQ die Idee prüfen will.

Das Wichtigste in Kürze

  • Swarm Telepathy: Prefill-Free KV-Cache Transfer Across Families (SwaT, arXiv:2610.15095) wurde am 10. Oktober 2026 eingereicht. Es handelt sich um ein Preprint ohne Peer-Review.
  • Ein kleiner trainierter Mapper wandelt den Key-Value-Cache (KV-Cache) eines Modells in einen Cache um, den ein Modell aus einer anderen Familie nutzen kann, sodass der Empfänger den Originaltext nicht erneut verarbeiten muss.
  • In den Tests der Autoren war SwaT mit Cache-Kompaktierung im Durchschnitt etwa 40 % genauer als Übergaben per Textzusammenfassung und in den gemessenen Teilen der Pipeline etwa 4-mal schneller.
  • Das Verfahren erfordert offene Modellgewichte, Zugriff auf den internen Cache und einen trainierten Mapper für jedes Modellpaar. Geschlossene Dienste wie ChatGPT und Claude lassen sich damit nicht verbinden.
  • LOGIQ setzt SwaT nicht ein. Wir erwägen einen isolierten Proof of Concept mit lokal betriebenen Open-Weight-Modellen.

Was ein KV-Cache ist und warum seine Übergabe hilft

Wenn ein großes Sprachmodell seine Eingabe liest, berechnet es für jedes Token eine Reihe von Zwischenwerten, die Keys und Values genannt werden. Sie werden im KV-Cache gespeichert, und das Modell nutzt sie für alles, was es anschließend erzeugt. Der Aufbau dieses Caches heißt Prefill; bei langen Dokumenten macht er einen großen Teil der Kosten und der Wartezeit bis zum ersten Wort der Antwort aus (Time to First Token, TTFT).

Modelle derselben Familie können manchmal die Caches der jeweils anderen wiederverwenden. Modelle verschiedener Familien wie Granite, Llama, Qwen oder Gemma organisieren diese Werte jedoch unterschiedlich, sodass der Empfänger den Text normalerweise erneut lesen und einen eigenen Cache aufbauen muss.

SwaT trainiert für jedes Paar aus Sender und Empfänger einen Mapper mit rund 300 Millionen Parametern. Der Mapper übersetzt den Cache des Senders in das Format des Empfängers, und der Empfänger beginnt direkt auf dieser Grundlage zu antworten. Beide Sprachmodelle bleiben unverändert. Laut dem Paper braucht das Training eines Mappers weniger als 50 Millionen Tokens englischen Text und weniger als einen GPU-Tag. Damit der übertragene Cache klein bleibt, kombinieren die Autoren SwaT mit einem Verfahren zur Cache-Kompaktierung namens Attention Matching.

Was die Forschenden berichten

Die Autoren bewerten 12 Modelle aus sechs Familien auf 17 Benchmarks. Auf diesen Benchmarks erreicht ein Empfänger, der einen SwaT-Cache liest, mehr als 90 % der Punktzahl, die er beim eigenen Lesen des Originaltexts erzielen würde.

Der vielzitierte Vergleich ist enger gefasst. Für drei Sender-Empfänger-Paare, sieben Datensätze und fünf Größenbudgets wird SwaT mit Attention Matching mit dem üblichen Ansatz verglichen, bei dem der Sender eine Textzusammenfassung mit demselben Größenbudget schreibt. Über diese Durchläufe gemittelt erzielte SwaT etwa 40 % höhere Werte. Das ist ein relativer Zuwachs; die Gesamtwerte im Paper steigen im Durchschnitt um rund 17 Punkte. Die Angabe von etwa 4-facher Geschwindigkeit umfasst die GPU-Zeit des Senders und die Time to First Token des Empfängers, nicht eine vollständige End-to-End-Produktionslast.

Das Paper berichtet außerdem über ein modalitätsübergreifendes Ergebnis. Vision-Language-Modelle der Reihe Gemma 3 betrachteten ein Bild und schrieben eine kurze Bildunterschrift. Ein reiner Text-Empfänger, der den übertragenen Cache erhielt, beantwortete Fragen zum Bild besser als ein Empfänger, der nur die Bildunterschrift bekam. Bei einem Paar stieg die durchschnittliche Punktzahl von 21,1 auf 41,6. Der Empfänger erwarb keine allgemeinen Bildverarbeitungsfähigkeiten, und bei Benchmarks, die feine Bilddetails erfordern, übertraf er das sendende Vision-Modell nicht durchgehend.

Wie neu ist das?

Die Autoren von SwaT beschreiben ihr Verfahren als den ersten familienübergreifenden KV-Cache-Transfer, der Kommunikation ohne Prefill ermöglicht. Leser sollten das als Aussage der Autoren verstehen. Ein verwandtes Preprint, HeteroFold (arXiv:2609.32259), wurde zwei Wochen früher eingereicht und beschreibt ebenfalls einen KV-Cache-Transfer ohne Prefill zwischen Modellfamilien. Die beiden Paper nutzen unterschiedliche Methoden und Auswertungen, und keines hat bisher ein Peer-Review durchlaufen.

Grenzen, Sicherheit und Prüfbarkeit

Diese Forschung bedeutet nicht, dass KI-Agenten gegenseitig ihre Gedanken lesen können, und sie belegt keine 4-fache Verbesserung für irgendein reales System, auch nicht für das von LOGIQ. Mehrere Grenzen sind wichtig, bevor jemand die Idee in der Praxis einsetzt:

  • Nur mit White-Box-Zugriff. Das Verfahren benötigt offene Gewichte und direkten Zugriff auf den internen Cache des Modells. Gehostete APIs stellen diesen nicht bereit, daher lässt es sich nicht auf geschlossene Dienste wie ChatGPT oder Claude anwenden.
  • Ein Mapper pro Paar. Jede Kombination aus Sender und Empfänger braucht einen eigenen trainierten Mapper. Bei vielen Modellfamilien wächst die Zahl der Mapper schnell.
  • Nur einzelne Übergaben. Das Paper untersucht jeweils eine Übertragung. Ketten von Übergaben oder das Zusammenführen von Nachrichten mehrerer Agenten bleiben künftiger Arbeit überlassen.
  • Unterstützung in Laufzeitumgebungen. Die öffentliche Implementierung nutzt PyTorch und Modelle von Hugging Face. Gängige Serving-Laufzeitumgebungen bieten diese Art von Cache-Austausch nicht von Haus aus.
  • Verborgene Inhalte. Die Autoren weisen darauf hin, dass ein übertragener Cache Informationen enthalten kann, die über den Text des Senders hinausgehen, und fordern Forschung zu Prüfbarkeit und Sicherheit. Ein Cache kann nicht wie eine Nachricht von einem Menschen gelesen und freigegeben werden, und er kann vertraulichen Kontext enthalten, den der Sender nie teilen wollte.

Was LOGIQ prüft

Die Agenten in unserer Relay-Zero-Architektur übergeben sich Arbeit derzeit über explizite Textnachrichten. Jede Nachricht lässt sich lesen, prüfen und speichern, und diese Aufzeichnung ist Teil davon, wie wir Änderungen freigeben und nachweisen, was getan wurde. Daran ändern wir nichts.

Was wir erwägen, ist ein kleiner, isolierter Forschungs-Proof-of-Concept zwischen Open-Weight-Modellen auf unserer eigenen Hardware, zum Beispiel auf unserem MS1-Server mit Ollama, auf dem sich der von SwaT benötigte Cache-Zugriff möglicherweise umsetzen lässt. Wenn wir ihn durchführen, vergleichen wir ihn mit unseren heutigen Textübergaben anhand von:

  • Time to First Token und Gesamtlatenz
  • Antwortgenauigkeit bei unseren eigenen internen Aufgaben
  • GPU- und Speicherverbrauch
  • Nachvollziehbarkeit: ob wir weiterhin erklären und prüfen können, was übergeben wurde

Für Menschen lesbare Freigaben, Prüfprotokolle und betriebliche Nachweise bleiben unabhängig von den Ergebnissen in Textform. Eine Cache-Übergabe könnte höchstens ein zusätzlicher schneller Weg neben der schriftlichen Aufzeichnung werden, niemals deren Ersatz.

Quellen