텍스트를 넘어서: MIT의 Swarm Telepathy 연구와 멀티 에이전트 AI의 미래

MIT의 한 프리프린트는 서로 다른 계열의 AI 모델이 텍스트 대신 KV 캐시를 주고받게 합니다. SwaT가 보고한 내용과 한계, 그리고 LOGIQ가 검토 중인 내용을 정리합니다.

오늘날 대부분의 멀티 에이전트 AI 시스템은 쪽지를 릴레이로 전달하는 방식으로 동작합니다. 한 에이전트가 긴 문서를 읽고 요약을 작성해 다음으로 넘깁니다. 다음 에이전트는 자기 일을 시작하기 전에 그 요약을 처음부터 다시 읽어야 합니다. 전달할 때마다 텍스트에 담기지 않은 세부 정보는 사라지고, 받는 쪽 모델은 보내는 쪽이 이미 한 작업을 되풀이합니다.

MIT CSAIL과 MIT-IBM Computing Research Lab 연구진이 발표한 새 프리프린트는 다른 방식의 전달을 시험합니다. 글을 넘기는 대신, 한 모델이 자신의 내부 작업 상태를 다른 계열의 모델에 넘기는 것입니다. 이 글에서는 연구진이 무엇을 했는지, 그 수치가 보여 주는 것과 보여 주지 않는 것은 무엇인지, 그리고 LOGIQ가 이 아이디어를 어떻게 살펴보려 하는지 설명합니다.

KV 캐시란 무엇이며, 이를 전달하면 왜 도움이 되는가

대규모 언어 모델은 입력을 읽을 때 토큰마다 키(key)와 값(value)이라는 중간값을 계산합니다. 이 값들은 KV 캐시에 저장되며, 모델은 이후 생성하는 모든 내용에 이를 사용합니다. 이 캐시를 만드는 과정을 프리필(prefill)이라고 하며, 긴 문서에서는 전체 비용과 답변의 첫 단어가 나오기까지의 지연 시간(Time to First Token, TTFT)에서 큰 비중을 차지합니다.

같은 계열의 모델끼리는 서로의 캐시를 재사용할 수 있는 경우가 있습니다. 하지만 Granite, Llama, Qwen, Gemma처럼 계열이 다른 모델은 이 값들을 서로 다르게 구성하므로, 보통은 받는 쪽이 텍스트를 다시 읽고 자체 캐시를 만들어야 합니다.

SwaT는 보내는 쪽과 받는 쪽의 쌍마다 약 3억 개 파라미터 규모의 매퍼를 학습합니다. 매퍼는 보내는 쪽의 캐시를 받는 쪽의 형식으로 변환하고, 받는 쪽은 그 캐시에서 바로 답변을 시작합니다. 두 언어 모델은 모두 변경되지 않습니다. 논문에 따르면 매퍼 하나를 학습하는 데 5천만 토큰 미만의 영어 텍스트와 1 GPU-일 미만의 연산이 필요합니다. 전송되는 캐시를 작게 유지하기 위해 저자들은 SwaT를 Attention Matching이라는 캐시 압축 기법과 결합합니다.

연구진이 보고한 내용

저자들은 6개 계열의 12개 모델을 17개 벤치마크로 평가했습니다. 이 벤치마크에서 SwaT 캐시를 읽은 받는 쪽 모델은 원본 텍스트를 직접 읽었을 때 얻는 점수의 90% 이상을 유지했습니다.

헤드라인이 된 비교는 범위가 더 좁습니다. 세 쌍의 보내는 쪽과 받는 쪽, 7개 데이터 세트, 5가지 크기 예산에 대해, Attention Matching을 적용한 SwaT를 보내는 쪽이 같은 크기 예산으로 텍스트 요약을 작성하는 일반적인 방식과 비교했습니다. 이 실행 결과를 평균하면 SwaT의 점수가 약 40% 높았습니다. 이는 상대적인 향상이며, 논문의 전체 점수는 평균 약 17포인트 올랐습니다. 약 4배라는 속도 수치는 보내는 쪽의 GPU 시간과 받는 쪽의 Time to First Token을 대상으로 한 것이며, 실제 운영 워크로드 전체를 처음부터 끝까지 측정한 것이 아닙니다.

논문은 교차 모달 결과도 보고합니다. Gemma 3 비전-언어 모델이 이미지를 보고 짧은 캡션을 작성했습니다. 전송된 캐시를 받은 텍스트 전용 모델은 캡션만 받은 모델보다 시각 관련 질문에 더 잘 답했습니다. 한 쌍에서는 평균 점수가 21.1에서 41.6으로 올랐습니다. 받는 쪽이 일반적인 시각 능력을 얻은 것은 아니며, 이미지의 세밀한 부분이 필요한 벤치마크에서는 캐시를 보낸 비전 모델을 꾸준히 앞서지 못했습니다.

얼마나 새로운가

SwaT 저자들은 자신들의 방법을 프리필 없는 통신을 가능하게 하는 최초의 계열 간 KV 캐시 전송이라고 설명합니다. 이는 저자들의 주장으로 받아들여야 합니다. 관련 프리프린트인 HeteroFold(arXiv:2609.32259)는 2주 앞서 제출되었으며, 이 역시 모델 계열 간 프리필 없는 KV 캐시 전송을 다룹니다. 두 논문은 서로 다른 방법과 평가 방식을 사용하며, 둘 다 아직 동료 심사를 거치지 않았습니다.

한계, 보안, 감사 가능성

이 연구는 AI 에이전트가 서로의 마음을 읽을 수 있다는 뜻이 아니며, LOGIQ를 포함한 어떤 실제 시스템에서도 4배의 개선이 있다는 것을 보여 주지 않습니다. 이 아이디어를 실제로 사용하기 전에 몇 가지 한계를 알아 두어야 합니다.

• 화이트박스 접근이 전제입니다. 이 방법은 공개된 가중치와 모델 내부 캐시에 대한 직접 접근이 필요합니다. 호스팅 API는 이를 노출하지 않으므로 ChatGPT나 Claude 같은 폐쇄형 서비스에는 적용되지 않습니다.
• 쌍마다 매퍼 하나가 필요합니다. 보내는 쪽과 받는 쪽의 조합마다 별도로 학습한 매퍼가 필요합니다. 모델 계열이 많아지면 매퍼 수가 빠르게 늘어납니다.
• 단일 전달만 다룹니다. 논문은 한 번에 하나의 전송만 연구합니다. 연쇄적인 전달이나 여러 에이전트의 메시지를 합치는 문제는 향후 과제로 남겨 두었습니다.
• 런타임 지원. 공개 구현은 PyTorch와 Hugging Face 모델을 사용합니다. 일반적인 서빙 런타임은 이런 캐시 교환을 기본으로 제공하지 않습니다.
• 숨겨진 내용. 저자들은 전송된 캐시가 보내는 쪽의 텍스트에 적힌 것 이상의 정보를 담고 있을 수 있다고 지적하며 감사 가능성과 안전성에 대한 연구를 촉구합니다. 캐시는 메시지처럼 사람이 읽고 승인할 수 없으며, 보내는 쪽이 공유할 의도가 없었던 기밀 맥락을 담고 있을 수도 있습니다.

LOGIQ가 검토하고 있는 것

현재 저희 Relay Zero 아키텍처의 에이전트들은 명시적인 텍스트 메시지를 통해 서로 작업을 넘깁니다. 각 메시지는 읽고, 검토하고, 보관할 수 있으며, 그 기록은 저희가 변경을 승인하고 무엇을 했는지 보여 주는 방식의 일부입니다. 이 점은 바꾸지 않습니다.

저희가 검토하는 것은 자체 하드웨어에서 오픈 웨이트 모델 간에 진행하는 작고 격리된 연구용 개념 증명입니다. 예를 들어 Ollama를 실행하는 MS1 서버라면 SwaT에 필요한 캐시 접근을 구현할 수 있을지도 모릅니다. 실제로 진행한다면 현재의 텍스트 전달 방식과 다음 항목을 비교할 계획입니다.

• Time to First Token 및 전체 지연 시간
• 사내 작업에서의 답변 정확도
• GPU 및 메모리 사용량
• 추적 가능성: 무엇이 전달되었는지 여전히 설명하고 감사할 수 있는지

결과와 관계없이 사람이 읽을 수 있는 승인, 검토 기록, 운영 증거는 텍스트로 유지합니다. 캐시 전달은 기껏해야 서면 기록 옆에 놓이는 추가적인 빠른 경로가 될 수 있을 뿐, 결코 그것을 대체하지 않습니다.

출처

• Alabdulkareem et al., Swarm Telepathy: Prefill-Free KV-Cache Transfer Across Families, arXiv:2610.15095 (프리프린트, 2026년 10월)
• 공식 구현: github.com/Ar-Kareem/SwaT
• Yun et al., Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs (HeteroFold), arXiv:2609.32259 (프리프린트, 2026년 9월)