The Effect of Modeling Human Rationality Level on Learning Rewards from Multiple Feedback Types

要約

人間の行動から報酬関数を推測する場合 (デモンストレーション、比較、物理的修正、e-stop など)、ノイズやエントロピーの量を「合理性係数」で捉えて、ノイズと合理的な選択を行う人間をモデル化することが有用であることが証明されています。
私たちは人間の行動に見られることを期待しています。
通常、以前の作業では、人間のフィードバックの種類や質に関係なく、合理性レベルが一定の値に設定されます。
ただし、多くの状況では、あるタイプのフィードバック (デモンストレーションなど) を提供することは、別のタイプのフィードバック (比較クエリへの回答など) よりもはるかに難しい場合があります。
したがって、人間のフィードバックの種類に応じて、多かれ少なかれノイズが発生すると予想されます。
この作業では、デフォルト値を仮定するのではなく、フィードバックの種類ごとに実際のデータに合理性係数を設定することが、報酬学習に大きなプラスの効果をもたらすことを提唱しています。
これは、シミュレートされた実験と実際の人間のフィードバックによるユーザー調査の両方でテストされています。
人間の合理性を過大評価すると、報酬学習の精度と後悔に深刻な影響を与える可能性があることがわかりました。
また、合理性係数を人間のデータに当てはめることで、体系的なバイアスのために人間がノイズの多い合理的な選択モデルから大きく逸脱した場合でも、より良い報酬学習が可能になることもわかりました。
さらに、合理性レベルが各フィードバック タイプの有益性に影響することがわかりました。驚くべきことに、実証が常に最も有益であるとは限りません。人間が非常に準最適に行動する場合、合理性レベルが両方で同じであっても、比較は実際にはより有益になります。
.
最終的に、私たちの結果は、特にエージェントが複数のタイプの人間のフィードバックから積極的に学習する場合に、想定される人間の合理性レベルに注意を払うことの重要性と利点を強調しています。

要約(オリジナル)

When inferring reward functions from human behavior (be it demonstrations, comparisons, physical corrections, or e-stops), it has proven useful to model the human as making noisy-rational choices, with a ‘rationality coefficient’ capturing how much noise or entropy we expect to see in the human behavior. Prior work typically sets the rationality level to a constant value, regardless of the type, or quality, of human feedback. However, in many settings, giving one type of feedback (e.g. a demonstration) may be much more difficult than a different type of feedback (e.g. answering a comparison query). Thus, we expect to see more or less noise depending on the type of human feedback. In this work, we advocate that grounding the rationality coefficient in real data for each feedback type, rather than assuming a default value, has a significant positive effect on reward learning. We test this in both simulated experiments and in a user study with real human feedback. We find that overestimating human rationality can have dire effects on reward learning accuracy and regret. We also find that fitting the rationality coefficient to human data enables better reward learning, even when the human deviates significantly from the noisy-rational choice model due to systematic biases. Further, we find that the rationality level affects the informativeness of each feedback type: surprisingly, demonstrations are not always the most informative — when the human acts very suboptimally, comparisons actually become more informative, even when the rationality level is the same for both. Ultimately, our results emphasize the importance and advantage of paying attention to the assumed human-rationality level, especially when agents actively learn from multiple types of human feedback.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google