REGENT: A Retrieval-Augmented Generalist Agent That Can Act In-Context in New Environments

要約

新しい環境に迅速に適応できるジェネラリストのエージェントの構築は、デジタルおよび現実の世界にAIを展開するための重要な課題です。
スケーリングの現在のエージェントアーキテクチャは、ジェネラリストエージェントを構築する最も効果的な方法ですか？
比較的小さなデータセットで比較的小さなポリシーを前に訓練するための新しいアプローチを提案し、微調整せずにコンテキスト学習を介して目に見えない環境に適応します。
私たちの重要なアイデアは、検索が迅速な適応のための強力なバイアスを提供することです。
確かに、私たちは、単純な検索ベースの1-Nearest隣人エージェントでさえ、今日の最新のジェネラリストエージェントに驚くほど強力なベースラインを提供することを実証します。
この出発点から、クエリのシーケンスと取得型の隣人に関する変圧器ベースのポリシーを訓練する半パラメトリックエージェントのリージェントを構築します。
リージェントは、検索の増強とコンテキスト内学習を通じて、目に見えないロボット工学およびゲームプレイ環境に一般化することができ、最大3倍のパラメーターを最大3倍少なく、順序の順序よりも少なくなり、今日の最先端を大幅に上回ることができます。
アートジェネラリストエージェント。
ウェブサイト：https：//kaustubhsridhar.github.io/regent-research

要約(オリジナル)

Building generalist agents that can rapidly adapt to new environments is a key challenge for deploying AI in the digital and real worlds. Is scaling current agent architectures the most effective way to build generalist agents? We propose a novel approach to pre-train relatively small policies on relatively small datasets and adapt them to unseen environments via in-context learning, without any finetuning. Our key idea is that retrieval offers a powerful bias for fast adaptation. Indeed, we demonstrate that even a simple retrieval-based 1-nearest neighbor agent offers a surprisingly strong baseline for today’s state-of-the-art generalist agents. From this starting point, we construct a semi-parametric agent, REGENT, that trains a transformer-based policy on sequences of queries and retrieved neighbors. REGENT can generalize to unseen robotics and game-playing environments via retrieval augmentation and in-context learning, achieving this with up to 3x fewer parameters and up to an order-of-magnitude fewer pre-training datapoints, significantly outperforming today’s state-of-the-art generalist agents. Website: https://kaustubhsridhar.github.io/regent-research

arxiv情報

提供元, 利用サービス

arxiv.jp, Google