MERMAIDE: Learning to Align Learners using Model-Based Meta-Learning

要約

タイトル：MERMAIDE：モデルベースのメタラーニングを使用した学習者のアライメントの学習

要約：
– 未経験の学習エージェントの報酬に干渉して望ましい結果を引き出す方法について研究している。
– これは、オークションや課税などの現実世界の多くの設定に関連しており、支配人は学習の振る舞いや報酬を把握していない場合がある。
– さらに、支配人はフューショットに適応でき、介入の数を最小限に抑える必要がある。これは、介入がしばしばコストが高いからである。
– MERMAIDEを導入し、異なる学習戦略と報酬関数を持つディストリビューション外のエージェントに素早く適応できる支配人をトレーニングするためのモデルベースのメタラーニングフレームワークを紹介している。
– このアプローチを段階的に検証している。まず、最良応答エージェントを使用したStackelberg設定で、メタラーニングがテスト時に理論的に知られているStackelberg均衡に素早く収束することを示し、ノイズのある観測がサンプル複雑度を大幅に増加させたとしている。
– 次に、未知の探索とExploit戦略を持つバンディットエージェントに介入する際に、モデルベースのメタラーニングアプローチがコスト効率的であることを示す。
– 最後に、部分的なエージェント情報を使用する$0$-shotおよび$K=1$-shot設定において、メタラーニングまたはエージェントの振る舞いモデリングを使用するベースラインを上回った。

要約(オリジナル)

We study how a principal can efficiently and effectively intervene on the rewards of a previously unseen learning agent in order to induce desirable outcomes. This is relevant to many real-world settings like auctions or taxation, where the principal may not know the learning behavior nor the rewards of real people. Moreover, the principal should be few-shot adaptable and minimize the number of interventions, because interventions are often costly. We introduce MERMAIDE, a model-based meta-learning framework to train a principal that can quickly adapt to out-of-distribution agents with different learning strategies and reward functions. We validate this approach step-by-step. First, in a Stackelberg setting with a best-response agent, we show that meta-learning enables quick convergence to the theoretically known Stackelberg equilibrium at test time, although noisy observations severely increase the sample complexity. We then show that our model-based meta-learning approach is cost-effective in intervening on bandit agents with unseen explore-exploit strategies. Finally, we outperform baselines that use either meta-learning or agent behavior modeling, in both $0$-shot and $K=1$-shot settings with partial agent information.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI