Learning to Coordinate with Experts

要約

動的環境に展開されると、AIエージェントは必然的に個々の機能を超える課題に遭遇します。
専門家のエージェントからの支援を活用する – 人間であろうとAI-canであろうと、このような状況での安全性とパフォーマンスが大幅に向上します。
ただし、専門家のクエリには費用がかかることがよく、専門家のガイダンスを効率的に要求し、利用できるエージェントの開発が必要です。
このホワイトペーパーでは、Learning To rieck and Requirect Control（YRC）と呼ばれる基本的な調整問題を紹介します。ここでは、目的は、いつ自律的に行​​動するか、いつ専門家の支援を求めるかを決定する戦略を学ぶことです。
エージェントがトレーニング中に専門家とやり取りするのではなく、テスト時に新しい環境の変化と専門家の介入に適応しなければならない挑戦的な実用的な設定を検討します。
実証研究を促進するために、多様なドメインを備えたオープンソースベンチマークであるYRCベンチを紹介します。
YRCベンチは、標準化されたジムのようなAPI、シミュレートされた専門家、評価パイプライン、および競争力のあるベースラインの実装を提供します。
YRCの問題への取り組みに向けて、新しい検証アプローチを提案し、多様な環境にわたるさまざまな学習方法のパフォーマンスを調査し、将来の研究を導くことができる洞察をもたらします。

要約(オリジナル)

When deployed in dynamic environments, AI agents will inevitably encounter challenges that exceed their individual capabilities. Leveraging assistance from expert agents-whether human or AI-can significantly enhance safety and performance in such situations. However, querying experts is often costly, necessitating the development of agents that can efficiently request and utilize expert guidance. In this paper, we introduce a fundamental coordination problem called Learning to Yield and Request Control (YRC), where the objective is to learn a strategy that determines when to act autonomously and when to seek expert assistance. We consider a challenging practical setting in which an agent does not interact with experts during training but must adapt to novel environmental changes and expert interventions at test time. To facilitate empirical research, we introduce YRC-Bench, an open-source benchmark featuring diverse domains. YRC-Bench provides a standardized Gym-like API, simulated experts, evaluation pipeline, and implementation of competitive baselines. Towards tackling the YRC problem, we propose a novel validation approach and investigate the performance of various learning methods across diverse environments, yielding insights that can guide future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google