Safe Explicable Planning

要約

人間の期待は、他者や世界を理解することから生まれます。
人間と AI の対話のコンテキストでは、この理解が現実と一致しない可能性があり、AI エージェントが期待に応えられず、チームのパフォーマンスが低下する可能性があります。
このギャップを埋める方法として導入された説明可能な計画は、人間の期待とエージェントの最適な行動を調和させ、解釈可能な意思決定を容易にすることを目的としています。
ただし、未解決の重要な問題は、説明可能な計画において安全性を確保することです。これは、説明可能な安全でない動作を引き起こす可能性があるためです。
これに対処するために、安全境界の仕様をサポートするために以前の作業を拡張する Safe Explicable Planning (SEP) を提案します。
SEP の目標は、指定された安全基準を遵守しながら、人間の期待に沿った動作を見つけることです。
私たちのアプローチは、単一のモデルではなく複数のモデルから生じる複数の目的の考慮を一般化し、安全に説明可能なポリシーのパレートセットを生成します。
パレート セットの発見を保証する正確な方法と、パレート セット内のポリシーの 1 つを見つけるより効率的な貪欲な方法の両方を紹介します。
さらに、スケーラビリティを向上させるために、状態集約に基づいた近似ソリューションを提供します。
これらの方法の望ましい理論的特性を検証する正式な証明を提供します。
シミュレーションと物理的なロボット実験による評価により、安全で説明可能な計画を立てるためのアプローチの有効性が確認されます。

要約(オリジナル)

Human expectations arise from their understanding of others and the world. In the context of human-AI interaction, this understanding may not align with reality, leading to the AI agent failing to meet expectations and compromising team performance. Explicable planning, introduced as a method to bridge this gap, aims to reconcile human expectations with the agent’s optimal behavior, facilitating interpretable decision-making. However, an unresolved critical issue is ensuring safety in explicable planning, as it could result in explicable behaviors that are unsafe. To address this, we propose Safe Explicable Planning (SEP), which extends the prior work to support the specification of a safety bound. The goal of SEP is to find behaviors that align with human expectations while adhering to the specified safety criterion. Our approach generalizes the consideration of multiple objectives stemming from multiple models rather than a single model, yielding a Pareto set of safe explicable policies. We present both an exact method, guaranteeing finding the Pareto set, and a more efficient greedy method that finds one of the policies in the Pareto set. Additionally, we offer approximate solutions based on state aggregation to improve scalability. We provide formal proofs that validate the desired theoretical properties of these methods. Evaluation through simulations and physical robot experiments confirms the effectiveness of our approach for safe explicable planning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google