Automatic Curriculum Design for Zero-Shot Human-AI Coordination

要約

ゼロショットヒューマンアイ調整は、人間のデータを使用せずに人間と調整するためのエゴエージェントのトレーニングです。
ゼロショットのヒューマンアイ調整に関するほとんどの研究は、目に見えない環境への一般化の問題を考慮せずに、特定の環境でのエゴエージェントの調整能力を高めることに焦点を合わせています。
ゼロショットの人間と調整の現実世界のアプリケーションは、環境に応じて、予測不可能な環境の変化と共同プレイヤーのさまざまな調整能力を考慮する必要があります。
以前は、マルチエージェントUED（監視されていない環境設計）アプローチは、競争力のある2プレイヤーAI-AIシナリオで環境の変化と共同プレイヤーポリシーを共同で検討することにより、これらの課題を調査しています。
この論文では、我々の研究では、ゼロショットの人間の調整にマルチエージェントUEDアプローチを拡張しています。
私たちは、以前のマルチエージェントUEDアプローチよりも効果的に人間と調整するためにエゴエージェントを訓練するのに役立つ、ゼロショットの人間とAIの調整設定のためのユーティリティ機能と共同プレイヤーサンプリングを提案します。
ゼロショットのヒューマンアイ調整パフォーマンスは、人間のプロキシエージェントと本物の人間を使用して、過剰調理済みの環境で評価されました。
私たちの方法は、他のベースラインモデルよりも優れており、目に見えない環境での人間とAIの調整パフォーマンスを達成します。

要約(オリジナル)

Zero-shot human-AI coordination is the training of an ego-agent to coordinate with humans without using human data. Most studies on zero-shot human-AI coordination have focused on enhancing the ego-agent’s coordination ability in a given environment without considering the issue of generalization to unseen environments. Real-world applications of zero-shot human-AI coordination should consider unpredictable environmental changes and the varying coordination ability of co-players depending on the environment. Previously, the multi-agent UED (Unsupervised Environment Design) approach has investigated these challenges by jointly considering environmental changes and co-player policy in competitive two-player AI-AI scenarios. In this paper, our study extends the multi-agent UED approach to a zero-shot human-AI coordination. We propose a utility function and co-player sampling for a zero-shot human-AI coordination setting that helps train the ego-agent to coordinate with humans more effectively than the previous multi-agent UED approach. The zero-shot human-AI coordination performance was evaluated in the Overcooked-AI environment, using human proxy agents and real humans. Our method outperforms other baseline models and achieves a high human-AI coordination performance in unseen environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google