How Secure Are Large Language Models (LLMs) for Navigation in Urban Environments?

要約

ロボット工学とオートメーションの分野では、大規模言語モデル (LLM) に基づくナビゲーション システムが最近、目覚ましいパフォーマンスを示しています。
ただし、これらのシステムのセキュリティ面は比較的注目されていません。
この論文は、都市の屋外環境における LLM ベースのナビゲーション モデルの脆弱性の調査の先駆者であり、自動運転、物流、緊急サービスにおけるテクノロジーの広範な応用を考えると重要な領域です。
具体的には、元のナビゲーション プロンプトに勾配由来のサフィックスを追加することで LLM ベースのナビゲーション モデルを操作し、誤ったアクションを引き起こす新しいナビゲーション プロンプト サフィックス (NPS) 攻撃を導入します。
私たちは、推論にさまざまな LLM を使用する LLM ベースのナビゲーション モデルに関する包括的な実験を実施しました。
少数ショット学習と微調整構成の両方で Touchdown および Map2Seq ストリートビュー データセットから得られた結果は、ホワイト ボックス攻撃とブラック ボックス攻撃の両方に直面すると、3 つの指標全体で顕著なパフォーマンスの低下を示しています。
これらの結果は、NPS 攻撃の一般化可能性と移転可能性を浮き彫りにし、LLM ベースのナビゲーション システムにおけるセキュリティ強化の必要性を強調しています。
最初の対策として、敵対的なサフィックスの影響を軽減するためにナビゲーション関連のキーワードに集中するナビゲーション プロンプト エンジニアリング (NPE) 防御戦略を提案します。
初期の調査結果では、この戦略が航行の安全性を高めることが示されていますが、これらのシステムが直面する現実世界の課題に効果的に対処するための、より強力な防御方法を開発するためのより広範な研究コミュニティに対する重要な必要性が依然として残っています。

要約(オリジナル)

In the field of robotics and automation, navigation systems based on Large Language Models (LLMs) have recently shown impressive performance. However, the security aspects of these systems have received relatively less attention. This paper pioneers the exploration of vulnerabilities in LLM-based navigation models in urban outdoor environments, a critical area given the technology’s widespread application in autonomous driving, logistics, and emergency services. Specifically, we introduce a novel Navigational Prompt Suffix (NPS) Attack that manipulates LLM-based navigation models by appending gradient-derived suffixes to the original navigational prompt, leading to incorrect actions. We conducted comprehensive experiments on an LLMs-based navigation model that employs various LLMs for reasoning. Our results, derived from the Touchdown and Map2Seq street-view datasets under both few-shot learning and fine-tuning configurations, demonstrate notable performance declines across three metrics in the face of both white-box and black-box attacks. These results highlight the generalizability and transferability of the NPS Attack, emphasizing the need for enhanced security in LLM-based navigation systems. As an initial countermeasure, we propose the Navigational Prompt Engineering (NPE) Defense strategy, concentrating on navigation-relevant keywords to reduce the impact of adversarial suffixes. While initial findings indicate that this strategy enhances navigational safety, there remains a critical need for the wider research community to develop stronger defense methods to effectively tackle the real-world challenges faced by these systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google