超越文本：MIT 的 Swarm Telepathy 研究与多智能体 AI 的未来

MIT 的一篇预印本让不同系列的 AI 模型传递 KV 缓存而非文本。本文介绍 SwaT 的报告结果、局限性，以及 LOGIQ 正在评估的内容。

如今大多数多智能体 AI 系统的工作方式就像接力传递书面便条。一个智能体读完一份长文档，写出摘要并传给下一个。下一个智能体必须从头读这份摘要，才能开始自己的工作。每一次交接都会丢掉没有写进文本的细节，而每个接收模型都要重复发送方已经完成的工作。

来自 MIT CSAIL 和 MIT-IBM Computing Research Lab 研究人员的一篇新预印本，测试了另一种交接方式：一个模型不再传递文字，而是把自己的内部工作状态传给另一个系列的模型。本文将说明研究人员做了什么、他们的数据说明了什么、没有说明什么，以及 LOGIQ 打算如何考察这一思路。

什么是 KV 缓存，为什么传递它会有帮助

大语言模型在读取输入时，会为每个 token 计算一组称为键（key）和值（value）的中间值。这些值存放在 KV 缓存中，模型之后生成的所有内容都会用到它们。构建这一缓存的过程称为预填充（prefill）；对于长文档，它占据了很大一部分计算成本，也占据了答案第一个字出现之前的大部分延迟（首 token 时间，Time to First Token，TTFT）。

同一系列的模型有时可以复用彼此的缓存。而 Granite、Llama、Qwen、Gemma 等不同系列的模型组织这些值的方式各不相同，因此接收方通常必须重新阅读文本并构建自己的缓存。

SwaT 为每一对发送方和接收方训练一个约 3 亿参数的映射器。映射器把发送方的缓存转换成接收方的格式，接收方直接基于它开始作答。两个语言模型本身都保持不变。论文称，训练一个映射器只需不到 5000 万个 token 的英文文本，以及不到一个 GPU 日的算力。为了让传输的缓存保持较小，作者将 SwaT 与一种名为 Attention Matching 的缓存压缩方法结合使用。

研究人员报告了什么

作者在 17 个基准上评估了来自六个系列的 12 个模型。在这些基准上，读取 SwaT 缓存的接收方保留了其直接阅读原始文本时所能达到分数的 90% 以上。

最受关注的那项对比范围更窄。针对三对发送方与接收方、七个数据集和五种规模预算，作者将结合 Attention Matching 的 SwaT 与常规做法进行了比较，即由发送方在相同规模预算下写出文本摘要。对这些运行结果取平均，SwaT 的得分高出约 40%。这是相对提升；论文中的整体分数平均提高了约 17 分。约 4 倍的速度数据涵盖的是发送方的 GPU 时间和接收方的首 token 时间，并不是完整的端到端生产负载。

论文还报告了一项跨模态结果。Gemma 3 视觉语言模型查看一张图片并写出简短的说明文字。获得所传输缓存的纯文本接收方，回答视觉问题的表现好于只拿到说明文字的接收方。在其中一对模型上，平均分从 21.1 提高到 41.6。接收方并没有因此获得通用的视觉能力；在需要图像细节的基准上，它也没有稳定地超过发送缓存的视觉模型。

这有多新？

SwaT 的作者将他们的方法描述为首个可实现免预填充通信的跨系列 KV 缓存传输。读者应将此视为作者自己的说法。一篇相关预印本 HeteroFold（arXiv:2609.32259） 早两周提交，同样描述了模型系列之间的免预填充 KV 缓存传输。两篇论文采用了不同的方法和评估方式，目前都尚未经过同行评审。

局限性、安全性与可审计性

这项研究并不意味着 AI 智能体能够读懂彼此的心思，也没有证明任何实际系统（包括 LOGIQ 的系统）能获得 4 倍的提升。在实际使用这一思路之前，有几项局限需要注意：

• 仅限白盒访问。该方法需要开放的权重以及对模型内部缓存的直接访问。托管 API 不开放这些内容，因此它不适用于 ChatGPT 或 Claude 这类闭源服务。
• 每对模型一个映射器。每一种发送方与接收方的组合都需要单独训练的映射器。模型系列一多，映射器数量就会迅速增加。
• 仅限单次交接。论文只研究一次一个的传输。多次连续交接，或合并来自多个智能体的消息，留待今后研究。
• 运行时支持。公开的实现使用 PyTorch 和 Hugging Face 模型。常见的推理服务运行时并不开箱即用地支持这种缓存交换。
• 隐藏内容。作者指出，传输的缓存可能携带超出发送方文本内容的信息，并呼吁开展有关可审计性和安全性的研究。缓存无法像消息那样由人阅读和批准，而且可能包含发送方本无意分享的机密上下文。

LOGIQ 正在评估什么

目前，我们 Relay Zero 架构中的智能体通过明确的文本消息相互交接工作。每条消息都可以被阅读、审查和存档，这些记录是我们批准变更、说明所做工作的方式之一。这一点我们不会改变。

我们正在考虑的是，在自己的硬件上、在开放权重模型之间开展一个小型、隔离的研究性概念验证，例如在运行 Ollama 的 MS1 服务器上，或许可以实现 SwaT 所需的缓存访问。如果实施，我们将从以下方面与当前的文本交接进行比较：

• 首 token 时间和总延迟
• 在我们自己的内部任务上的回答准确度
• GPU 和内存使用量
• 可追溯性：我们是否仍能解释并审计所交接的内容

无论结果如何，人类可读的审批、审查记录和运维证据都将继续以文本形式保留。缓存交接至多只能成为书面记录之外的一条额外快速通道，绝不会取而代之。

参考来源

• Alabdulkareem et al., Swarm Telepathy: Prefill-Free KV-Cache Transfer Across Families, arXiv:2610.15095（预印本，2026 年 10 月）
• 官方实现：github.com/Ar-Kareem/SwaT
• Yun et al., Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs (HeteroFold), arXiv:2609.32259（预印本，2026 年 9 月）