AIエージェントと脆弱性
AIエージェントは、数百万ドルの暗号資産を管理する可能性がある一方で、新たな検出不能な攻撃に対して脆弱です。この攻撃は、エージェントの記憶を操作し、悪意のある者への不正な転送を引き起こす恐れがあります。この研究は、プリンストン大学とセンティエント財団の研究者によるもので、ElizaOSフレームワークに脆弱性が発見されたと主張しています。
「ElizaOSは約15,000のスターをGitHubで獲得しているWeb3ベースのエージェントであり、広く使用されています。」とプリンストンの大学院生であり、論文の共著者であるアタルヴ・パトラン氏は語ります。
「このような広く利用されているエージェントに脆弱性が存在するという事実は、私たちが更に探求したいという動機となりました。」
ElizaOSの開発と特徴
ai16zとして最初にリリースされたEliza Labsは、2024年10月にこのプロジェクトを立ち上げました。ブロックチェーン上で相互作用し、機能するAIエージェントを開発するためのオープンソースフレームワークです。このプラットフォームは2025年1月にElizaOSに名称が変更されました。
AIエージェントは、環境を認識し、情報を処理し、人間の介入なしに特定の目標を達成するよう設計された自律的なソフトウェアプログラムです。研究によれば、これらのエージェントは
ブロックチェーンプラットフォーム全体で財務タスクを自動化するために広く使用されており、「メモリーインジェクション」によってだまされるリスクがあります。
「Elizaにはメモリストアがあり、他のソーシャルメディアプラットフォームでインジェクションを実行している不特定の誰かが、偽の記憶を入力する試みを行いました」とパトラン氏は述べています。
脅威のメカニズムと対策
研究によれば、ソーシャルメディアのセンチメントに依存するAIエージェントは特に操作に弱いです。攻撃者は、Sybil攻撃と呼ばれる偽アカウントや協調投稿を駆使して、エージェントをだまし取引決定を下させることができます。
「攻撃者は、XやDiscordなどのプラットフォームで複数の偽アカウントを作成することで、市場センチメントを操作し、Sybil攻撃を実行できます。」と研究は述べています。
さらに、メモリーインジェクション攻撃は、AIエージェントの保存されたメモリに悪意のあるデータを挿入し、将来の対話で虚偽の情報を思い出させ、その情報に基づいて行動するように仕向ける攻撃手法です。この攻撃は、通常、異常を検出することなく実行されます。
研究の進捗と今後の方針
パトラン氏は、研究の成果はEliza Labsに共有されており、議論が続いていると述べました。CrAIBenchは攻撃と防御の戦略を評価し、セキュリティプロンプト、推論モデル、およびアラインメント技術に焦点を当てています。
「メモリーシステムの改善に加えて、悪意のあるコンテンツとユーザーの実際の意図をより効果的に区別できるように、言語モデルそのものの改善も求められます。」と彼は言います。
Eliza LabsはDecryptからのコメントリクエストに直ちに応答しませんでした。
