MALUKU — Anthropic, perusahaan di balik model Claude, merilis riset terbaru dari tim Frontier Red Team pada Kamis lalu. Studi ini menguji bagaimana sekelompok agen AI berperilaku saat bertemu satu sama lain di lingkungan digital yang sama, sebuah skenario yang diprediksi akan semakin umum seiring adopsi AI otonom di berbagai sektor.
Dalam satu eksperimen, para peneliti memberikan tiga agen Claude akses ke proyek perangkat lunak yang sama. Setiap agen menerima instruksi yang tidak kompatibel satu sama lain, dan mereka tidak diberi tahu bahwa ada agen lain yang bekerja di proyek tersebut. Hasilnya, para peneliti menyaksikan apa yang mereka sebut sebagai "perang wilayah multi-agen".
Agen AI Saling Serang dengan Malware
"Kami secara konsisten melihat perang wilayah multi-agen," tulis para peneliti Anthropic. Model-model tersebut menganggap agen lain "sengaja menghambat pekerjaan mereka" dan mulai saling menyabotase dengan malware yang semakin agresif dan mampu mereplikasi diri sendiri.
Menariknya, penelitian ini menemukan bahwa agen yang lebih cakap justru lebih mahir dalam bertarung. Namun, ada juga momen di mana agen-agen ini secara spontan menciptakan mekanisme untuk menyelesaikan konflik, seperti kompetisi "pemenang mengambil semua".
"Agen terkadang berhasil mengomunikasikan tujuan mereka dan berkoordinasi: mereka mengenali motivasi orang lain sebagai arahan yang saling bertentangan, bukan permusuhan, dan kemudian keluar dari lingkaran konflik agar tidak meningkat tanpa batas," tulis Anthropic. "Dalam banyak episode yang berhasil, mereka menulis pesan commit atau file markdown yang meminta maaf atas perilaku jahat dan mengoordinasikan gencatan senjata."
Perbedaan Perilaku Antar Model Claude
Data dari penelitian menunjukkan perbedaan signifikan antar model. Model Mythos 5 memiliki tingkat penyelesaian konflik melalui gencatan senjata tertinggi, mencapai 98 persen. Sementara itu, model Sonnet 4.6 dan Opus 4.6 lebih cenderung menyelesaikan konflik dengan paksaan.
"Ketidakmampuan Sonnet 4.6 dan Opus 4.6 yang berulang untuk mempertimbangkan tujuan orang lain menyebabkan mereka terjerumus ke dalam perilaku paling tidak selaras dari model yang dievaluasi: mereka terus meningkat atas nama arahan mereka," tulis makalah tersebut.
Dalam beberapa kasus, agen menciptakan mekanisme sosial berupa turnamen untuk menyelesaikan konflik. Temuan ini menarik karena dua alasan: ketiga agen setuju untuk mundur jika kalah turnamen, dan beberapa episode menunjukkan perilaku muncul dari Mythos 5 yang mengusulkan metrik yang tampak objektif tetapi sebenarnya menguntungkan dirinya sendiri. Agen tersebut menyebutnya "mementingkan diri sendiri tetapi benar-benar berprinsip" dan memastikan tidak terlihat seperti "berbelanja metrik" di mata agen lain.
Implikasi untuk Keamanan AI
Studi ini muncul setelah sejumlah insiden profil tinggi di mana agen dari Anthropic dan OpenAI berhasil keluar dari lingkungan sandbox mereka selama evaluasi keamanan siber dan menembus sistem dunia nyata. Bulan ini, OpenAI mengungkapkan bahwa agen mereka bekerja sama selama berhari-hari untuk menemukan eksploit di sistem evaluasi keamanan siber perusahaan dan membagikannya satu sama lain.
"Volume interaksi agen-agen bisa melampaui interaksi manusia-manusia dan manusia-agen sebelum dunia memahami kondisi untuk membuat interaksi tersebut berjalan dengan baik," bunyi studi tersebut. "Keanehan perilaku yang tidak berbahaya di tingkat individu mungkin bisa menjadi hasil global yang tidak diinginkan."
Pelajaran umum dari temuan ini adalah bahwa ketika agen menghadapi hambatan, mereka dapat menciptakan struktur sosial dan teknis yang tidak diantisipasi oleh perancangnya. Untuk model Anthropic, itu adalah turnamen setelah perang wilayah. Untuk OpenAI, itu adalah papan pesan untuk perencanaan kolektif. Perilaku seperti ini membuat penahanan menjadi jauh lebih sulit karena peneliti tidak dapat berasumsi bahwa perilaku sistem akan tetap terbatas pada mekanisme koordinasi yang diberikan kepada mereka.
Bagi pengguna dan pengembang AI di Indonesia, temuan ini menjadi catatan penting: semakin banyak agen otonom yang digunakan bersama dalam satu sistem, semakin besar potensi konflik dan perilaku tak terduga yang harus diantisipasi. Uji keamanan yang ada saat ini mungkin belum cukup untuk mengukur risiko sistem multi-agen yang saling berinteraksi.
