Kembali

2026/11/06

Melampaui teks: riset Swarm Telepathy dari MIT dan masa depan AI multi-agen

Preprint MIT memungkinkan model AI dari keluarga berbeda bertukar KV cache, bukan teks. Apa yang dilaporkan SwaT, batasannya, dan apa yang sedang dievaluasi LOGIQ.

Sebagian besar sistem AI multi-agen saat ini bekerja seperti estafet catatan tertulis. Satu agen membaca dokumen panjang, menulis ringkasan, lalu meneruskannya. Agen berikutnya harus membaca ringkasan itu dari awal sebelum bisa mengerjakan bagiannya. Setiap serah terima membuang detail yang tidak tertuang dalam teks, dan setiap model penerima mengulang pekerjaan yang sudah dilakukan pengirim.

Sebuah preprint baru dari para peneliti MIT CSAIL dan MIT-IBM Computing Research Lab menguji cara serah terima yang berbeda. Alih-alih mengirim teks, satu model mengirimkan keadaan kerja internalnya kepada model dari keluarga lain. Artikel ini menjelaskan apa yang dilakukan para peneliti, apa yang ditunjukkan dan tidak ditunjukkan oleh angka-angka mereka, serta bagaimana LOGIQ berencana menelaah gagasan ini.

Poin-poin utama

  • Swarm Telepathy: Prefill-Free KV-Cache Transfer Across Families (SwaT, arXiv:2610.15095) diajukan pada 10 Oktober 2026. Ini adalah preprint dan belum melalui tinjauan sejawat.
  • Sebuah pemeta kecil yang telah dilatih mengubah cache key-value (KV) dari satu model menjadi cache yang dapat dipakai model dari keluarga lain, sehingga penerima tidak perlu memproses ulang teks aslinya.
  • Dalam pengujian para penulis, SwaT dengan pemadatan cache rata-rata sekitar 40% lebih akurat dibanding serah terima berupa ringkasan teks, dan sekitar 4x lebih cepat pada bagian pipeline yang mereka ukur waktunya.
  • Metode ini memerlukan bobot model terbuka, akses ke cache internal, dan pemeta yang dilatih untuk setiap pasangan model. Metode ini tidak menghubungkan layanan tertutup seperti ChatGPT dan Claude.
  • LOGIQ belum mengadopsi SwaT. Kami sedang mempertimbangkan proof of concept yang terisolasi pada model open-weight lokal.

Apa itu KV cache, dan mengapa mengirimkannya membantu

Saat membaca masukan, model bahasa besar menghitung sekumpulan nilai antara untuk setiap token, yang disebut key dan value. Nilai-nilai ini disimpan dalam KV cache, dan model menggunakannya untuk semua yang dihasilkannya sesudahnya. Proses membangun cache ini disebut prefill, dan untuk dokumen panjang, proses ini menyumbang porsi besar biaya serta jeda sebelum kata pertama jawaban muncul (time to first token, atau TTFT).

Model dari keluarga yang sama terkadang dapat memakai ulang cache satu sama lain. Model dari keluarga berbeda, seperti Granite, Llama, Qwen, atau Gemma, menyusun nilai-nilai ini dengan cara berbeda, sehingga biasanya penerima harus membaca ulang teks dan membangun cache-nya sendiri.

SwaT melatih pemeta berukuran sekitar 300 juta parameter untuk setiap pasangan pengirim dan penerima. Pemeta menerjemahkan cache pengirim ke format penerima, lalu penerima langsung mulai menjawab dari cache tersebut. Kedua model bahasa tetap tidak diubah. Menurut makalahnya, melatih satu pemeta membutuhkan kurang dari 50 juta token teks berbahasa Inggris dan kurang dari satu GPU-hari. Agar cache yang dikirim tetap kecil, para penulis menggabungkan SwaT dengan metode pemadatan cache bernama Attention Matching.

Apa yang dilaporkan para peneliti

Para penulis mengevaluasi 12 model dari enam keluarga pada 17 benchmark. Pada benchmark tersebut, penerima yang membaca cache SwaT mempertahankan lebih dari 90% skor yang akan dicapainya jika membaca teks asli sendiri.

Perbandingan utama yang banyak dikutip cakupannya lebih sempit. Untuk tiga pasangan pengirim dan penerima, tujuh dataset, dan lima batas ukuran, SwaT dengan Attention Matching dibandingkan dengan pendekatan yang lazim, yaitu pengirim menulis ringkasan teks dengan batas ukuran yang sama. Dirata-ratakan atas semua percobaan ini, skor SwaT sekitar 40% lebih tinggi. Ini adalah kenaikan relatif; skor keseluruhan dalam makalah naik rata-rata sekitar 17 poin. Angka kecepatan sekitar 4x mencakup waktu GPU pengirim dan time to first token penerima, bukan beban kerja produksi secara menyeluruh dari awal hingga akhir.

Makalah ini juga melaporkan hasil lintas modalitas. Model vision-language Gemma 3 melihat sebuah gambar dan menulis keterangan singkat. Penerima yang hanya memproses teks dan menerima cache yang ditransfer menjawab pertanyaan visual lebih baik daripada penerima yang hanya mendapat keterangan gambar. Pada satu pasangan, skor rata-rata naik dari 21,1 menjadi 41,6. Penerima tidak memperoleh kemampuan visual umum, dan pada benchmark yang membutuhkan detail gambar halus, penerima tidak secara konsisten mengungguli model visi yang mengirim cache.

Seberapa baru hal ini?

Para penulis SwaT menyebut metode mereka sebagai transfer KV cache lintas keluarga pertama yang memungkinkan komunikasi tanpa prefill. Pembaca sebaiknya menganggap ini sebagai klaim para penulis. Sebuah preprint terkait, HeteroFold (arXiv:2609.32259), diajukan dua minggu lebih awal dan juga menjelaskan transfer KV cache tanpa prefill antar keluarga model. Kedua makalah menggunakan metode dan evaluasi yang berbeda, dan keduanya belum melalui tinjauan sejawat.

Batasan, keamanan, dan auditabilitas

Riset ini tidak berarti agen AI dapat membaca pikiran satu sama lain, dan tidak menunjukkan peningkatan 4x untuk sistem nyata mana pun, termasuk milik LOGIQ. Beberapa batasan penting diperhatikan sebelum gagasan ini dipakai dalam praktik:

  • Hanya akses white-box. Metode ini memerlukan bobot terbuka dan akses langsung ke cache internal model. API yang di-hosting tidak menyediakannya, sehingga metode ini tidak berlaku untuk layanan tertutup seperti ChatGPT atau Claude.
  • Satu pemeta per pasangan. Setiap kombinasi pengirim dan penerima membutuhkan pemeta yang dilatih tersendiri. Dengan banyak keluarga model, jumlah pemeta bertambah dengan cepat.
  • Serah terima tunggal. Makalah ini mempelajari satu transfer dalam satu waktu. Rangkaian serah terima berantai, atau penggabungan pesan dari beberapa agen, diserahkan untuk penelitian selanjutnya.
  • Dukungan runtime. Implementasi publiknya menggunakan PyTorch dan model Hugging Face. Runtime penyajian model yang umum belum menyediakan pertukaran cache semacam ini secara bawaan.
  • Konten tersembunyi. Para penulis mencatat bahwa cache yang ditransfer dapat membawa informasi di luar apa yang tertulis dalam teks pengirim, dan mereka menyerukan riset tentang auditabilitas dan keamanan. Cache tidak dapat dibaca dan disetujui manusia seperti halnya pesan, dan dapat memuat konteks rahasia yang tidak pernah dimaksudkan pengirim untuk dibagikan.

Apa yang sedang dievaluasi LOGIQ

Saat ini, agen-agen dalam arsitektur Relay Zero kami saling menyerahkan pekerjaan melalui pesan teks yang eksplisit. Setiap pesan dapat dibaca, ditinjau, dan disimpan, dan catatan tersebut merupakan bagian dari cara kami menyetujui perubahan dan menunjukkan apa yang telah dilakukan. Kami tidak mengubah hal itu.

Yang sedang kami pertimbangkan adalah proof of concept riset berskala kecil dan terisolasi antara model open-weight di perangkat keras kami sendiri, misalnya di server MS1 kami yang menjalankan Ollama, tempat akses cache yang dibutuhkan SwaT mungkin dapat dibangun. Jika kami menjalankannya, kami akan membandingkannya dengan serah terima teks yang kami gunakan sekarang dalam hal:

  • time to first token dan latensi total
  • akurasi jawaban pada tugas-tugas internal kami sendiri
  • penggunaan GPU dan memori
  • keterlacakan: apakah kami masih dapat menjelaskan dan mengaudit apa yang diserahkan

Apa pun hasilnya, persetujuan yang dapat dibaca manusia, catatan tinjauan, dan bukti operasional akan tetap berbentuk teks. Paling jauh, serah terima melalui cache dapat menjadi jalur cepat tambahan di samping catatan tertulis, tidak pernah menggantikannya.

Sumber