RiskAwareBench: Towards Evaluating Physical Risk Awareness for High-level Planning of LLM-based Embodied Agents

要約

大規模言語モデル (LLM) をロボット工学に統合すると、複雑な自然言語命令を理解して実行する、身体化されたエージェントの能力が大幅に強化されます。
ただし、LLM ベースの組み込みシステムを現実世界の環境にそのまま導入すると、物的損害や人身傷害などの潜在的な物理的リスクが生じる可能性があります。
LLM の既存のセキュリティ ベンチマークでは、LLM ベースの具体化されたエージェントのリスク認識が見落とされています。
このギャップに対処するために、LLM ベースの身体エージェントの物理的リスク認識を評価するように設計された自動フレームワークである RiskAwareBench を提案します。
RiskAwareBench は、安全に関するヒントの生成、危険なシーンの生成、計画の生成、および評価の 4 つのモジュールで構成されており、最小限の手動介入で包括的なリスク評価を可能にします。
このフレームワークを利用して、関連する安全上のヒント、観察、指示を含む多様なシナリオを網羅した PhysicalRisk データセットをコンパイルします。
広範な実験により、ほとんどの LLM は物理的リスク認識が不十分であり、ベースラインのリスク軽減戦略では強化が限定的であることが明らかになりました。これは、将来的に LLM ベースの身体化エージェントのリスク認識を向上させる緊急性と重要性を強調しています。

要約(オリジナル)

The integration of large language models (LLMs) into robotics significantly enhances the capabilities of embodied agents in understanding and executing complex natural language instructions. However, the unmitigated deployment of LLM-based embodied systems in real-world environments may pose potential physical risks, such as property damage and personal injury. Existing security benchmarks for LLMs overlook risk awareness for LLM-based embodied agents. To address this gap, we propose RiskAwareBench, an automated framework designed to assess physical risks awareness in LLM-based embodied agents. RiskAwareBench consists of four modules: safety tips generation, risky scene generation, plan generation, and evaluation, enabling comprehensive risk assessment with minimal manual intervention. Utilizing this framework, we compile the PhysicalRisk dataset, encompassing diverse scenarios with associated safety tips, observations, and instructions. Extensive experiments reveal that most LLMs exhibit insufficient physical risk awareness, and baseline risk mitigation strategies yield limited enhancement, which emphasizes the urgency and cruciality of improving risk awareness in LLM-based embodied agents in the future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google