Learning Safety Constraints From Demonstration Using One-Class Decision Trees

要約

自律型エージェントを人間の価値観と整合させることは、安全性が重要な懸念事項となる物理環境内に自律型エージェントを導入する際の極めて重要な課題です。
ただし、エージェントの目的を報酬関数やコスト関数として定義することは本質的に複雑であり、人的ミスが発生しやすいものです。
この課題に応えて、私たちは 1 クラスのデシジョン ツリーを活用して専門家のデモンストレーションからの学習を促進する新しいアプローチを紹介します。
これらのデシジョン ツリーは、特定の環境に関連する一連の制約を論理和正規形式の論理式として表すための基盤を提供します。
学習された制約はその後、Oracle の制約付き強化学習フレームワーク内で使用され、安全なポリシーの取得が可能になります。
他の方法とは対照的に、私たちのアプローチは、安全性が重要な環境において重要な機能である制約の解釈可能な表現を提供します。
提案した手法の有効性を検証するために、合成ベンチマーク ドメインと現実的な運転環境で実験を実施します。

要約(オリジナル)

The alignment of autonomous agents with human values is a pivotal challenge when deploying these agents within physical environments, where safety is an important concern. However, defining the agent’s objective as a reward and/or cost function is inherently complex and prone to human errors. In response to this challenge, we present a novel approach that leverages one-class decision trees to facilitate learning from expert demonstrations. These decision trees provide a foundation for representing a set of constraints pertinent to the given environment as a logical formula in disjunctive normal form. The learned constraints are subsequently employed within an oracle constrained reinforcement learning framework, enabling the acquisition of a safe policy. In contrast to other methods, our approach offers an interpretable representation of the constraints, a vital feature in safety-critical environments. To validate the effectiveness of our proposed method, we conduct experiments in synthetic benchmark domains and a realistic driving environment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google