Plug in the Safety Chip: Enforcing Constraints for LLM-driven Robot Agents

要約

大規模言語モデル (LLM) の最近の進歩により、事前トレーニング中に得られた LLM の世界の知識と一般的な推論能力を活用して、ロボット工学を解決したりタスクを計画したりするための新しい研究領域である LLM エージェントが可能になりました。
しかし、ロボットに「すべきこと」を教えるために多大な努力が払われてきた一方で、「してはいけないこと」は比較的注目されていませんでした。
私たちは、実際の使用においては、ロボットに「してはいけないこと」を教えることが重要であると主張します。それは、禁止された行為についての明確な指示を伝えること、これらの制限に対するロボットの理解度を評価すること、そして最も重要なことに、遵守を確実にすることです。
さらに、世界中の工場環境にロボットを安全に配備するための基準を定義する ISO 61508 などの世界基準を満たす配備には、検証可能な安全な動作が不可欠です。
LLM エージェントを共同環境に展開することを目的として、自然言語 (NL) による時間的制約のエンコード、安全性違反の推論と説明、および安全でないアクションの枝刈りを同時に可能にする、線形時相論理 (LTL) に基づくクエリ可能な安全性制約モジュールを提案します。
システムの有効性を実証するために、VirtualHome 環境と実際のロボットで実験を実施しました。
実験結果は、私たちのシステムが安全制約を厳密に遵守し、複雑な安全制約にもうまく対応できることを示し、実用性の可能性を強調しています。

要約(オリジナル)

Recent advancements in large language models (LLMs) have enabled a new research domain, LLM agents, for solving robotics and planning tasks by leveraging the world knowledge and general reasoning abilities of LLMs obtained during pretraining. However, while considerable effort has been made to teach the robot the ‘dos,’ the ‘don’ts’ received relatively less attention. We argue that, for any practical usage, it is as crucial to teach the robot the ‘don’ts’: conveying explicit instructions about prohibited actions, assessing the robot’s comprehension of these restrictions, and, most importantly, ensuring compliance. Moreover, verifiable safe operation is essential for deployments that satisfy worldwide standards such as ISO 61508, which defines standards for safely deploying robots in industrial factory environments worldwide. Aiming at deploying the LLM agents in a collaborative environment, we propose a queryable safety constraint module based on linear temporal logic (LTL) that simultaneously enables natural language (NL) to temporal constraints encoding, safety violation reasoning and explaining, and unsafe action pruning. To demonstrate the effectiveness of our system, we conducted experiments in VirtualHome environment and on a real robot. The experimental results show that our system strictly adheres to the safety constraints and scales well with complex safety constraints, highlighting its potential for practical utility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google