Mapping out the Space of Human Feedback for Reinforcement Learning: A Conceptual Framework

要約

ヒューマン フィードバックからの強化学習 (RLHF) は、エージェント機械学習モデルを微調整またはトレーニングするための強力なツールとなっています。
人間が社会的文脈でどのように対話するかと同様に、私たちはさまざまな種類のフィードバックを使用して、好み、意図、知識を RL エージェントに伝えることができます。
ただし、RL における人間のフィードバックの適用は範囲が限られており、人間の要因が無視されていることがよくあります。
この研究では、対話型学習シナリオにおける人間のフィードバックに対する共通の理解を発展させることで、機械学習と人間とコンピューターの対話の取り組みとの間のギャップを埋めます。
まず、9 つの主要な側面に基づいて人間のフィードバックからの報酬ベースの学習のためのフィードバック タイプの分類を導入します。
私たちの分類法では、人間中心、インターフェース中心、モデル中心の側面を統合することができます。
さらに、フィードバックを表現する人間の能力とフィードバックからエージェントが学習する能力の両方に影響を与える人間のフィードバックの 7 つの品質指標を特定します。
フィードバック分類法と品質基準に基づいて、人間のフィードバックから学習するシステムの要件と設計の選択肢を導き出します。
これらの要件と設計の選択を、対話型機械学習の既存の研究に関連付けます。
その過程で、既存の研究のギャップと将来の研究の機会を特定します。
私たちは、データ駆動型の協調適応モデリングとさまざまな相互作用メカニズムによる強化学習の可能性を最大限に活用するために、学際的な協力を求めています。

要約(オリジナル)

Reinforcement Learning from Human feedback (RLHF) has become a powerful tool to fine-tune or train agentic machine learning models. Similar to how humans interact in social contexts, we can use many types of feedback to communicate our preferences, intentions, and knowledge to an RL agent. However, applications of human feedback in RL are often limited in scope and disregard human factors. In this work, we bridge the gap between machine learning and human-computer interaction efforts by developing a shared understanding of human feedback in interactive learning scenarios. We first introduce a taxonomy of feedback types for reward-based learning from human feedback based on nine key dimensions. Our taxonomy allows for unifying human-centered, interface-centered, and model-centered aspects. In addition, we identify seven quality metrics of human feedback influencing both the human ability to express feedback and the agent’s ability to learn from the feedback. Based on the feedback taxonomy and quality criteria, we derive requirements and design choices for systems learning from human feedback. We relate these requirements and design choices to existing work in interactive machine learning. In the process, we identify gaps in existing work and future research opportunities. We call for interdisciplinary collaboration to harness the full potential of reinforcement learning with data-driven co-adaptive modeling and varied interaction mechanics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google