Safe Explicable Planning

要約

人間の期待は、他者や世界についての知識から生まれます。
人間と AI の相互作用に関する場合、そのような知識はグラウンド トゥルースと一致しない可能性があり、その結果、AI エージェントが期待に応えられず、チームのパフォーマンスが低下する可能性があります。
説明可能な計画は、人間の期待とエージェントの最適な行動を調和させて、より解釈可能な意思決定を行うための新しい計画アプローチとして以前に導入されました。
未解決の重要な問題の 1 つは、説明可能な計画における安全性です。これは、安全ではない説明可能な動作につながる可能性があるためです。
私たちは、安全境界の仕様をサポートするために以前の作業を拡張するために、Safe Explicable Planning (SEP) を提案します。
SEP の目的は、この作業で選択された安全基準であるエージェントの復帰に関する制限を満たしながら、人間の期待に近い動作を検索することです。
この問題が多目的最適化を一般化し、定式化がパレート集合を導入することを示します。
このような定式化の下で、我々は、安全に説明可能なポリシーのパレートセットを返す新しい正確な方法、パレート最適ポリシーの 1 つを返すより効率的な貪欲な方法、およびさらなるスケーラビリティへの状態の集約に基づくそれらの近似解を提案します。
厳密なメソッドと貪欲なメソッドの望ましい理論的特性を検証するために、形式的な証明が提供されます。
私たちはシミュレーションと物理的なロボット実験の両方で手法を評価します。
結果は、安全で説明可能な計画を立てるための私たちの方法の妥当性と有効性を裏付けています。

要約(オリジナル)

Human expectations stem from their knowledge about the others and the world. Where human-AI interaction is concerned, such knowledge may be inconsistent with the ground truth, resulting in the AI agent not meeting its expectations and degraded team performance. Explicable planning was previously introduced as a novel planning approach to reconciling human expectations and the agent’s optimal behavior for more interpretable decision-making. One critical issue that remains unaddressed is safety in explicable planning since it can lead to explicable behaviors that are unsafe. We propose Safe Explicable Planning (SEP) to extend the prior work to support the specification of a safety bound. The objective of SEP is to search for behaviors that are close to the human’s expectations while satisfying the bound on the agent’s return, the safety criterion chosen in this work. We show that the problem generalizes multi-objective optimization and our formulation introduces a Pareto set. Under such a formulation, we propose a novel exact method that returns the Pareto set of safe explicable policies, a more efficient greedy method that returns one of the Pareto optimal policies, and approximate solutions for them based on the aggregation of states to further scalability. Formal proofs are provided to validate the desired theoretical properties of the exact and greedy methods. We evaluate our methods both in simulation and with physical robot experiments. Results confirm the validity and efficacy of our methods for safe explicable planning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google