Don’t lie to your friends: Learning what you know from collaborative self-play

要約

役立つアシスタントになるには、AIエージェントは自分の能力と制限に注意する必要があります。
これには、パラメトリックの知識からツールの使用、いつツールの出力を信頼するか、いつ控えるかヘッジするかを知ることが含まれます。
このような機能は、エージェントの特定の機能を反映する例を構築する必要があるため、監視された微調整を通じて教えることが困難です。
したがって、私たちは、彼らが知っていることをエージェントに教えるための根本的に新しいアプローチを提案します。
私たちは、グループが集合的に正しい答えに到着したことで報われるマルチエージェントコラボレーションを構築します。
望ましいメタ知識は、相互作用の構造に組み込まれたインセンティブから生まれます。
私たちは、不均一なツール（コーパス固有の検索）にアクセスできる小さな社会に焦点を当てているため、努力を最小限に抑えながら成功を最大化するために協力する必要があります。
実験は、マルチエージェントコミュニティのグループレベルの報酬が、個々のエージェントが単独で展開される設定のツールの使用と選択的予測を改善するために\ emph {cransfer}というポリシーを誘導できることを示しています。

要約(オリジナル)

To be helpful assistants, AI agents must be aware of their own capabilities and limitations. This includes knowing when to answer from parametric knowledge versus using tools, when to trust tool outputs, and when to abstain or hedge. Such capabilities are hard to teach through supervised fine-tuning because they require constructing examples that reflect the agent’s specific capabilities. We therefore propose a radically new approach to teaching agents what they know: \emph{collaborative self-play}. We construct multi-agent collaborations in which the group is rewarded for collectively arriving at correct answers. The desired meta-knowledge emerges from the incentives built into the structure of the interaction. We focus on small societies of agents that have access to heterogeneous tools (corpus-specific retrieval), and therefore must collaborate to maximize their success while minimizing their effort. Experiments show that group-level rewards for multi-agent communities can induce policies that \emph{transfer} to improve tool use and selective prediction in settings where individual agents are deployed in isolation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google