Adaptive Querying for Reward Learning from Human Feedback

要約

人間のフィードバックから学習することは、ユーザーの好みに適応して安全性を向上させるようにロボットを訓練するための一般的なアプローチです。
既存のアプローチは通常、人間のフィードバックを求めるときに単一のクエリ (対話) 形式を考慮しており、ロボットとのユーザー対話の複数のモードを活用していません。
クエリの状態とフィードバックの形式を最適化することで、複数の形式の人的フィードバックを使用して、副作用などの安全でない動作に関連するペナルティ関数を学習する方法を検討します。
適応型フィードバック選択のフレームワークを使用すると、特定の形式でフィードバックを受信するコストと確率を考慮しながら、最も有益な形式で重要な状態のフィードバックをクエリすることができます。
私たちは、最初にクエリのためにクリティカルな状態を選択し、次に情報ゲインを使用してサンプリングされたクリティカルな状態全体にわたってクエリするためのフィードバック形式を選択する、反復的な 2 フェーズのアプローチを採用しています。
シミュレーションでの評価は、私たちのアプローチのサンプル効率を示しています。

要約(オリジナル)

Learning from human feedback is a popular approach to train robots to adapt to user preferences and improve safety. Existing approaches typically consider a single querying (interaction) format when seeking human feedback and do not leverage multiple modes of user interaction with a robot. We examine how to learn a penalty function associated with unsafe behaviors, such as side effects, using multiple forms of human feedback, by optimizing the query state and feedback format. Our framework for adaptive feedback selection enables querying for feedback in critical states in the most informative format, while accounting for the cost and probability of receiving feedback in a certain format. We employ an iterative, two-phase approach which first selects critical states for querying, and then uses information gain to select a feedback format for querying across the sampled critical states. Our evaluation in simulation demonstrates the sample efficiency of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google