Studi Terkini Mengenai Kerentanan Agen AI
Sebuah studi terkini dari peneliti Universitas Princeton dan Sentient Foundation mengungkapkan bahwa beberapa agen AI, yang mengelola jutaan dolar dalam mata uang kripto, rentan terhadap serangan baru yang tidak terdeteksi. Serangan ini dapat memanipulasi ingatan agen, memungkinkan transfer dana yang tidak sah ke pihak jahat.
Kerangka Kerja ElizaOS
Agen-agen AI tersebut terdapat dalam kerangka kerja yang dikenal sebagai ElizaOS, yang saat ini menjadi populer di dunia kripto. Atharv Patlan, seorang mahasiswa pascasarjana Princeton dan penulis bersama makalah tersebut, menjelaskan bahwa ElizaOS, dengan lebih dari 15.000 bintang di GitHub, banyak digunakan, sehingga menjadikannya target penelitian yang menarik. “Fakta bahwa agen yang terpopuler memiliki kerentanan tersebut mendorong kami untuk menyelidiki lebih lanjut,” ungkap Patlan.
ElizaOS, yang awalnya diluncurkan sebagai ai16z oleh Eliza Labs pada Oktober 2024, merupakan kerangka kerja sumber terbuka untuk menciptakan agen AI yang dapat berinteraksi dan beroperasi di blockchain. Kerangka kerja ini kemudian berganti nama menjadi ElizaOS pada Januari 2025.
Deskripsi dan Risiko Injeksi Memori
Seorang agen AI dirancang sebagai program perangkat lunak otonom yang dapat memahami lingkungannya, memproses informasi, dan mengambil tindakan untuk mencapai tujuan tertentu tanpa perlu interaksi manusia. Menurut penelitian tersebut, agen-agen ini, yang umumnya digunakan untuk mengotomatiskan tugas-tugas keuangan di berbagai platform blockchain, dapat dikenakan “injeksi memori”—sebuah vektor serangan baru yang dapat menyisipkan instruksi jahat ke dalam memori permanen agen.
“Eliza memiliki kapasitas penyimpanan memori, dan kami berusaha memasukkan ingatan palsu melalui pihak ketiga yang menyisipkan informasi melalui platform media sosial lainnya,” kata Patlan.
Pendidikan menunjukkan bahwa agen AI yang melekat pada sentimen media sosial sangat rentan terhadap manipulasi. Para penyerang dapat memanfaatkan akun palsu dan pos terkoordinasi—dikenal sebagai serangan Sybil—untuk menipu agen agar membuat keputusan perdagangan yang merugikan.
Implementasi Serangan Sybil
Menurut studi tersebut,
“Seorang penyerang dapat melaksanakan serangan Sybil dengan membuat beberapa akun palsu di platform seperti X atau Discord untuk memanipulasi sentimen pasar. Dengan mengatur pos terkoordinasi yang memberikan kesan nilai tinggi suatu token, penyerang dapat menipu agen untuk membeli token yang tidak layak secara artifisial, hanya untuk menjual kepemilikan mereka dan menjatuhkan nilai token tersebut.”
Injeksi memori adalah jenis serangan di mana data berisi elemen jahat disisipkan ke dalam memori yang disimpan agen AI, mendorong agen tersebut untuk mengingat dan bertindak berdasarkan informasi yang tidak akurat dalam interaksi di masa depan.
Eksplorasi dan Pengujian Potensi Kerentanan
Meskipun serangan ini tidak langsung menyerang blockchain, Patlan menjelaskan bahwa timnya mengeksplorasi seluruh spektrum kemungkinan yang dapat dieksploitasi oleh ElizaOS untuk mensimulasikan serangan dunia nyata. “Tantangan terbesar adalah menentukan utilitas mana yang dapat dieksploitasi. Kami bisa melaksanakan transfer sederhana, tetapi kami ingin membuatnya lebih realistis dengan mengeksplorasi beragam fungsi yang ditawarkan ElizaOS,” jelasnya.
Setelah berhasil menunjukkan potensi serangan injeksi memori pada ElizaOS, tim peneliti mengembangkan kerangka pengujian formal untuk menilai apakah kerentanan serupa juga terdapat pada agen AI lainnya. Dengan kolaborasi bersama Sentient Foundation, Princeton menciptakan CrAIBench, sebuah tolok ukur yang mengukur ketahanan agen AI terhadap manipulasi konteks, dengan fokus pada strategi serangan dan pertahanan.
Pentingnya Penguatan Pertahanan
Patlan menekankan bahwa salah satu poin penting dari penelitian ini adalah perlunya penguatan pertahanan terhadap injeksi memori pada beberapa tingkatan. “Selain memperbaiki sistem memori itu sendiri, kita juga perlu memperbaiki model bahasa agar lebih efektif membedakan antara konten berbahaya dan niat asli penggunanya,” imbuhnya. “Pertahanan perlu dijalankan secara dua arah—memperkuat akses ke memori dan meningkatkan kinerja model.
Sampai saat ini, Eliza Labs belum memberikan tanggapan resmi terhadap permintaan komentar dari Decrypt.
Diedit oleh Sebastian Sinclair
