CHARM: Considering Human Attributes for Reinforcement Modeling

要約

人間のフィードバックからの強化学習は最近、さまざまな分野で大きな成功を収めており、そのパフォーマンスはフィードバックの質に非常に関連しています。
多くの以前の研究は、人間の教師の特性が人間のフィードバックパターンに影響を与えることを認めていましたが、実際の効果を綿密に調査した作業はほとんどありません。
この作業では、人間のフィードバックパターンが人間の特性にどのように関連しているかを調査する探索的研究を設計しました。
2つの長い地平線タスクと46人の参加者を使用して、パブリックスペーススタディを実施しました。
フィードバックパターンは、報酬などのタスク統計と相関するだけでなく、参加者の特性、特にロボットの経験や教育的背景と相関することがわかりました。
さらに、タスク統計のみを使用する場合と比較して、人間のフィードバック値を人間の特性でより正確に予測できることを実証しました。
私たちが収集したすべての人間のフィードバックと特性、およびデータ収集とより正確な人間のフィードバックの予測のためのコードは、https：//github.com/aabl-lab/charmで入手できます。

要約(オリジナル)

Reinforcement Learning from Human Feedback has recently achieved significant success in various fields, and its performance is highly related to feedback quality. While much prior work acknowledged that human teachers’ characteristics would affect human feedback patterns, there is little work that has closely investigated the actual effects. In this work, we designed an exploratory study investigating how human feedback patterns are associated with human characteristics. We conducted a public space study with two long horizon tasks and 46 participants. We found that feedback patterns are not only correlated with task statistics, such as rewards, but also correlated with participants’ characteristics, especially robot experience and educational background. Additionally, we demonstrated that human feedback value can be more accurately predicted with human characteristics compared to only using task statistics. All human feedback and characteristics we collected, and codes for our data collection and predicting more accurate human feedback are available at https://github.com/AABL-Lab/CHARM

arxiv情報

提供元, 利用サービス

arxiv.jp, Google