テキストを超えて：MITの「Swarm Telepathy」研究とマルチエージェントAIの未来

MITのプレプリントは、異なるファミリーのAIモデル間でテキストの代わりにKVキャッシュを受け渡す手法を示しました。SwaTの報告内容と限界、そしてLOGIQが検討していることを解説します。

現在のマルチエージェントAIシステムの多くは、メモを手渡しでリレーするような仕組みで動いています。あるエージェントが長い文書を読んで要約を書き、それを次に渡します。次のエージェントは、自分の作業に取りかかる前に、その要約を一から読み直さなければなりません。受け渡しのたびに、テキストに書かれなかった細部は失われ、受け取る側のモデルは送り手がすでに済ませた処理を繰り返すことになります。

MIT CSAILとMIT-IBM Computing Research Labの研究者による新しいプレプリントは、別の受け渡し方を試しています。文章を渡す代わりに、あるモデルが内部の作業状態を、別のファミリーのモデルに直接渡すのです。本記事では、研究者が何を行ったのか、その数値が何を示し何を示していないのか、そしてLOGIQがこのアイデアをどのように検証しようとしているのかを説明します。

KVキャッシュとは何か、なぜそれを渡すと有利なのか

大規模言語モデルは入力を読み込む際、トークンごとにキー（key）とバリュー（value）と呼ばれる中間値を計算します。これらはKVキャッシュに保存され、モデルはその後の生成すべてにこれを利用します。このキャッシュを構築する処理はプレフィル（prefill）と呼ばれ、長い文書では計算コストの大きな部分を占めるとともに、回答の最初の一語が出るまでの待ち時間（Time to First Token、TTFT）の大部分を占めます。

同じファミリーのモデル同士であれば、互いのキャッシュを再利用できる場合があります。しかしGranite、Llama、Qwen、Gemmaのように異なるファミリーのモデルは、これらの値の構成が異なるため、通常は受け手がテキストを読み直して自分のキャッシュを構築しなければなりません。

SwaTは、送り手と受け手の組み合わせごとに、約3億パラメータのマッパーを学習します。マッパーは送り手のキャッシュを受け手の形式に変換し、受け手はそこから直接回答を始めます。どちらの言語モデルにも変更は加えません。論文によれば、マッパーの学習に必要なのは5,000万トークン未満の英語テキストと、1 GPU日未満の計算です。転送するキャッシュを小さく保つため、著者らはSwaTをAttention Matchingと呼ばれるキャッシュ圧縮手法と組み合わせています。

研究者が報告していること

著者らは、6つのファミリーにわたる12のモデルを17のベンチマークで評価しています。これらのベンチマークでは、SwaTのキャッシュを読み込んだ受け手は、元のテキストを自分で読んだ場合に得られるスコアの90%以上を維持しました。

見出しになっている比較は、より限定的なものです。3組の送り手・受け手の組み合わせ、7つのデータセット、5段階のサイズ予算について、Attention Matchingを組み合わせたSwaTを、送り手が同じサイズ予算でテキスト要約を書くという一般的な方法と比較しています。これらの実行結果を平均すると、SwaTのスコアは約40%高くなりました。これは相対的な向上であり、論文中の全体スコアは平均で約17ポイント上昇しています。約4倍という速度の数値は、送り手のGPU時間と受け手のTime to First Tokenを対象としたもので、本番環境のワークロード全体をエンドツーエンドで測ったものではありません。

論文ではクロスモーダルな結果も報告されています。Gemma 3の視覚言語モデルが画像を見て短いキャプションを書きました。転送されたキャッシュを受け取ったテキスト専用の受け手は、キャプションだけを受け取った受け手よりも、画像に関する質問にうまく答えました。ある組み合わせでは、平均スコアが21.1から41.6に上昇しました。ただし、受け手が汎用的な視覚能力を獲得したわけではなく、画像の細部が必要なベンチマークでは、キャッシュを送った視覚モデルを一貫して上回ることはありませんでした。

どの程度新しいのか

SwaTの著者らは、自らの手法を、プレフィル不要の通信を可能にする初のファミリー間KVキャッシュ転送だと説明しています。これは著者らの主張として受け止めるべきでしょう。関連するプレプリントであるHeteroFold（arXiv:2609.32259）はその2週間前に投稿されており、こちらもモデルファミリー間でのプレフィル不要なKVキャッシュ転送を説明しています。2つの論文は異なる手法と評価方法を用いており、どちらもまだ査読を経ていません。

限界、セキュリティ、監査可能性

この研究は、AIエージェントが互いの心を読めるようになることを意味するものではなく、LOGIQを含むいかなる実システムでも4倍の改善が得られることを示すものでもありません。実際にこのアイデアを使う前に、いくつかの限界を押さえておく必要があります。

• ホワイトボックスでのアクセスが前提です。この手法には、オープンな重みと、モデル内部のキャッシュへの直接アクセスが必要です。ホスト型のAPIはこれを公開していないため、ChatGPTやClaudeのようなクローズドなサービスには適用できません。
• 組み合わせごとに1つのマッパーが必要です。送り手と受け手の組み合わせごとに、専用のマッパーを学習する必要があります。モデルファミリーが多くなると、マッパーの数は急速に増えます。
• 単一の受け渡しのみです。論文が扱っているのは一度に1回の転送です。受け渡しの連鎖や、複数のエージェントからのメッセージの統合は今後の課題とされています。
• ランタイムの対応状況。公開されている実装はPyTorchとHugging Faceのモデルを使用しています。一般的な推論サービング用ランタイムは、このようなキャッシュ交換を標準では提供していません。
• 見えない内容。著者らは、転送されたキャッシュには送り手のテキストに書かれた以上の情報が含まれる可能性があると指摘し、監査可能性と安全性に関する研究を呼びかけています。キャッシュはメッセージのように人が読んで承認することができず、送り手が共有するつもりのなかった機密の文脈を含んでいる可能性もあります。

LOGIQが検討していること

現在、私たちのRelay Zeroアーキテクチャのエージェントは、明示的なテキストメッセージを通じて互いに作業を引き継いでいます。各メッセージは読むことも、レビューすることも、保存することもでき、その記録は私たちが変更を承認し、何を行ったかを示すための仕組みの一部です。この点を変えるつもりはありません。

私たちが検討しているのは、自社のハードウェア上でオープンウェイトモデル同士を使った、小規模で隔離された研究目的の概念実証です。たとえば、Ollamaを動かしているMS1サーバー上であれば、SwaTが必要とするキャッシュへのアクセスを構築できる可能性があります。実施する場合は、現在のテキストによる受け渡しと次の観点で比較します。

• Time to First Tokenと全体のレイテンシ
• 社内タスクにおける回答の正確さ
• GPUとメモリの使用量
• 追跡可能性：何が引き渡されたかを引き続き説明・監査できるかどうか

結果がどうであれ、人が読める形の承認、レビューの記録、運用上の証跡はテキストのまま維持します。キャッシュによる受け渡しは、せいぜい書面の記録と並ぶ追加の高速経路になりうるだけで、記録に取って代わることは決してありません。

出典

• Alabdulkareem et al., Swarm Telepathy: Prefill-Free KV-Cache Transfer Across Families, arXiv:2610.15095（プレプリント、2026年10月）
• 公式実装：github.com/Ar-Kareem/SwaT
• Yun et al., Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs (HeteroFold), arXiv:2609.32259（プレプリント、2026年9月）