За пределами текста: исследование Swarm Telepathy от MIT и будущее многоагентного ИИ

Препринт MIT позволяет ИИ-моделям разных семейств передавать друг другу KV-кэш вместо текста. Что сообщает SwaT, каковы ограничения и что оценивает LOGIQ.

Большинство современных многоагентных ИИ-систем работают как эстафета с передачей записок. Один агент читает длинный документ, пишет краткое изложение и передаёт его дальше. Следующий агент должен прочитать это изложение с нуля, прежде чем сможет выполнить свою часть работы. При каждой передаче теряются детали, не попавшие в текст, а каждая принимающая модель повторяет работу, которую отправитель уже проделал.

Новый препринт исследователей из MIT CSAIL и MIT-IBM Computing Research Lab проверяет другой способ передачи. Вместо текста одна модель передаёт своё внутреннее рабочее состояние модели из другого семейства. В этой статье мы объясняем, что сделали исследователи, что их цифры показывают и чего не показывают, а также как LOGIQ планирует изучить эту идею.

Что такое KV-кэш и почему его передача помогает

Когда большая языковая модель читает входные данные, она вычисляет для каждого токена набор промежуточных значений, называемых ключами (keys) и значениями (values). Они хранятся в KV-кэше, и модель использует их для всего, что генерирует дальше. Построение этого кэша называется prefill; для длинных документов на него приходится значительная часть затрат и задержки до появления первого слова ответа (время до первого токена, Time to First Token, TTFT).

Модели одного семейства иногда могут повторно использовать кэш друг друга. Модели разных семейств, например Granite, Llama, Qwen или Gemma, организуют эти значения по-разному, поэтому обычно получателю приходится заново читать текст и строить собственный кэш.

SwaT обучает преобразователь примерно на 300 миллионов параметров для каждой пары отправителя и получателя. Преобразователь переводит кэш отправителя в формат получателя, и получатель сразу начинает отвечать на его основе. Обе языковые модели остаются без изменений. Согласно статье, обучение одного преобразователя требует менее 50 миллионов токенов англоязычного текста и менее одного GPU-дня. Чтобы передаваемый кэш оставался небольшим, авторы сочетают SwaT с методом сжатия кэша под названием Attention Matching.

Что сообщают исследователи

Авторы оценивают 12 моделей из шести семейств на 17 бенчмарках. На этих бенчмарках получатель, читающий кэш SwaT, сохраняет более 90% результата, которого он достиг бы, прочитав исходный текст самостоятельно.

Главное сравнение, вынесенное в заголовки, имеет более узкие рамки. Для трёх пар отправителя и получателя, семи наборов данных и пяти ограничений по размеру SwaT с Attention Matching сравнивается с обычным подходом, при котором отправитель пишет текстовое резюме в том же ограничении по размеру. В среднем по этим запускам SwaT показал результат примерно на 40% выше. Это относительный прирост; общие оценки в статье растут в среднем примерно на 17 пунктов. Цифра примерно в 4 раза по скорости относится к времени GPU отправителя и времени до первого токена у получателя, а не к полной сквозной производственной нагрузке.

В статье также приводится межмодальный результат. Визуально-языковые модели Gemma 3 смотрели на изображение и писали короткую подпись. Чисто текстовый получатель, получивший переданный кэш, отвечал на вопросы об изображении лучше, чем получатель, которому досталась только подпись. В одной из пар средний результат вырос с 21,1 до 41,6. Получатель не приобрёл общих навыков зрения и на бенчмарках, требующих мелких деталей изображения, не превосходил стабильно визуальную модель, отправившую кэш.

Насколько это ново?

Авторы SwaT описывают свой метод как первую межсемейную передачу KV-кэша, позволяющую обмениваться информацией без prefill. Читателям стоит воспринимать это как утверждение авторов. Связанный препринт HeteroFold (arXiv:2609.32259) был подан на две недели раньше и тоже описывает передачу KV-кэша без prefill между семействами моделей. В двух работах используются разные методы и способы оценки, и ни одна из них ещё не прошла рецензирование.

Ограничения, безопасность и проверяемость

Это исследование не означает, что ИИ-агенты могут читать мысли друг друга, и не демонстрирует четырёхкратного улучшения для какой-либо реальной системы, включая системы LOGIQ. Прежде чем применять идею на практике, важно учесть несколько ограничений:

• Только доступ по принципу белого ящика. Методу нужны открытые веса и прямой доступ к внутреннему кэшу модели. Размещённые API его не предоставляют, поэтому метод неприменим к закрытым сервисам, таким как ChatGPT или Claude.
• Один преобразователь на пару. Для каждого сочетания отправителя и получателя нужен собственный обученный преобразователь. При большом числе семейств моделей количество преобразователей быстро растёт.
• Только одиночные передачи. В статье изучается одна передача за раз. Цепочки передач или объединение сообщений от нескольких агентов оставлены для будущих работ.
• Поддержка в средах выполнения. Публичная реализация использует PyTorch и модели Hugging Face. Распространённые среды для обслуживания моделей не поддерживают такой обмен кэшем «из коробки».
• Скрытое содержимое. Авторы отмечают, что переданный кэш может нести информацию сверх того, что написано в тексте отправителя, и призывают к исследованиям проверяемости и безопасности. Кэш нельзя прочитать и одобрить так, как человек читает и одобряет сообщение, и в нём может содержаться конфиденциальный контекст, которым отправитель вовсе не собирался делиться.

Что оценивает LOGIQ

Сейчас агенты в нашей архитектуре Relay Zero передают друг другу работу через явные текстовые сообщения. Каждое сообщение можно прочитать, проверить и сохранить, и эта запись — часть того, как мы утверждаем изменения и показываем, что было сделано. Это мы менять не будем.

Мы рассматриваем небольшую изолированную исследовательскую проверку концепции между моделями с открытыми весами на нашем собственном оборудовании, например на нашем сервере MS1 с Ollama, где, возможно, удастся реализовать доступ к кэшу, необходимый SwaT. Если мы её проведём, то сравним её с нашими текущими текстовыми передачами по следующим параметрам:

• время до первого токена и общая задержка
• точность ответов на наших собственных внутренних задачах
• использование GPU и памяти
• прослеживаемость: можем ли мы по-прежнему объяснить и проверить, что было передано

Понятные человеку согласования, записи проверок и операционные свидетельства останутся в текстовом виде при любых результатах. В лучшем случае передача через кэш может стать дополнительным быстрым путём рядом с письменной записью, но никогда не заменит её.

Источники

• Alabdulkareem et al., Swarm Telepathy: Prefill-Free KV-Cache Transfer Across Families, arXiv:2610.15095 (препринт, октябрь 2026 года)
• Официальная реализация: github.com/Ar-Kareem/SwaT
• Yun et al., Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs (HeteroFold), arXiv:2609.32259 (препринт, сентябрь 2026 года)