SHARPIE: A Modular Framework for Reinforcement Learning and Human-AI Interaction Experiments

要約

強化学習（RL）は、人間とAIとの対話シナリオを含む、AIエージェントのモデリングとトレーニングのための一般的なアプローチを提供する。本稿では、RLエージェントと人間との実験をサポートする汎用的なフレームワークの必要性に対応するため、SHARPIE（Shared Human-AI Reinforcement Learning Platform for Interactive Experiments）を提案する。SHARPIEのモジュラーデザインは、RL環境とアルゴリズムライブラリのための汎用的なラッパー、参加者向けのウェブインターフェース、ロギングユーティリティ、一般的なクラウドや参加者募集プラットフォームへの展開で構成されている。インタラクティブな報酬の指定と学習、人間のフィードバックからの学習、行動の委譲、嗜好の引き出し、ユーザーモデリング、人間とAIのチーミングなど、人間とRLエージェントの相互作用に関する様々な研究課題を研究することができます。このプラットフォームは、人間とRLの相互作用のための汎用インターフェースに基づいており、人間の文脈におけるRLに関する研究分野の標準化を目指しています。

要約(オリジナル)

Reinforcement learning (RL) offers a general approach for modeling and training AI agents, including human-AI interaction scenarios. In this paper, we propose SHARPIE (Shared Human-AI Reinforcement Learning Platform for Interactive Experiments) to address the need for a generic framework to support experiments with RL agents and humans. Its modular design consists of a versatile wrapper for RL environments and algorithm libraries, a participant-facing web interface, logging utilities, deployment on popular cloud and participant recruitment platforms. It empowers researchers to study a wide variety of research questions related to the interaction between humans and RL agents, including those related to interactive reward specification and learning, learning from human feedback, action delegation, preference elicitation, user-modeling, and human-AI teaming. The platform is based on a generic interface for human-RL interactions that aims to standardize the field of study on RL in human contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL