A Study on Prompt Injection Attack Against LLM-Integrated Mobile Robotic Systems

要約

GPT-4o のようなラージ言語モデル (LLM) のロボット システムへの統合は、身体化された人工知能の大幅な進歩を表しています。
これらのモデルはマルチモーダル プロンプトを処理できるため、よりコンテキストを意識した応答を生成できます。
ただし、この統合には課題がないわけではありません。
主な懸念事項の 1 つは、ロボット ナビゲーション タスクでの LLM の使用に関連する潜在的なセキュリティ リスクです。
これらのタスクでは、安全で効果的な運用を確保するために、正確で信頼性の高い対応が必要です。
マルチモーダル プロンプトは、ロボットの理解を強化する一方で、悪意を持って悪用される可能性のある複雑さをもたらします。
たとえば、モデルを誤解させるように設計された敵対的な入力は、誤ったまたは危険なナビゲーション上の決定につながる可能性があります。
この研究では、LLM 統合システムにおけるモバイル ロボットのパフォーマンスに対するプロンプト インジェクションの影響を調査し、これらのリスクを軽減するための安全なプロンプト戦略を検討します。
私たちの調査結果では、堅牢な防御メカニズムの実装により、攻撃検出とシステム パフォーマンスの両方が全体的に約 30.8% 大幅に向上したことが実証されており、ミッション指向のタスクにおけるセキュリティと信頼性の強化における防御メカニズムの重要な役割が強調されています。

要約(オリジナル)

The integration of Large Language Models (LLMs) like GPT-4o into robotic systems represents a significant advancement in embodied artificial intelligence. These models can process multi-modal prompts, enabling them to generate more context-aware responses. However, this integration is not without challenges. One of the primary concerns is the potential security risks associated with using LLMs in robotic navigation tasks. These tasks require precise and reliable responses to ensure safe and effective operation. Multi-modal prompts, while enhancing the robot’s understanding, also introduce complexities that can be exploited maliciously. For instance, adversarial inputs designed to mislead the model can lead to incorrect or dangerous navigational decisions. This study investigates the impact of prompt injections on mobile robot performance in LLM-integrated systems and explores secure prompt strategies to mitigate these risks. Our findings demonstrate a substantial overall improvement of approximately 30.8% in both attack detection and system performance with the implementation of robust defence mechanisms, highlighting their critical role in enhancing security and reliability in mission-oriented tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google