Implicitly Aligning Humans and Autonomous Agents through Shared Task Abstractions

要約

共同作業では、自律的なエージェントは、新しいチームメイトや馴染みのないチームメイトに迅速に適応する能力において人間に不足しています。
ゼロショット調整の制限要因は、人間がチームメイトと暗黙的に整合するために依存するメカニズムである共有タスクの抽象化の欠如であると仮定します。
このギャップに対処するために、ha $^2 $：階層アドホックエージェントを紹介します。これは、階層補強学習を活用して、人間が共同作業で使用する構造化されたアプローチを模倣するためのフレバレットです。
過熱した環境でha $^2 $を評価し、目に見えないエージェントと人間の両方とペアになった場合、既存のベースラインよりも統計的に有意な改善を示し、環境シフトのより良い回復力を提供し、すべての最先端の方法を上回ります。

要約(オリジナル)

In collaborative tasks, autonomous agents fall short of humans in their capability to quickly adapt to new and unfamiliar teammates. We posit that a limiting factor for zero-shot coordination is the lack of shared task abstractions, a mechanism humans rely on to implicitly align with teammates. To address this gap, we introduce HA$^2$: Hierarchical Ad Hoc Agents, a framework leveraging hierarchical reinforcement learning to mimic the structured approach humans use in collaboration. We evaluate HA$^2$ in the Overcooked environment, demonstrating statistically significant improvement over existing baselines when paired with both unseen agents and humans, providing better resilience to environmental shifts, and outperforming all state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google