AgentOhana: Design Unified Data and Training Pipeline for Effective Agent Learning

要約

大規模言語モデル (LLM) を利用した自律エージェントは、研究で大きな注目を集めています。
ただし、エージェントベースのタスクで LLM の可能性を最大限に活用するには、マルチターンの軌跡を特徴とする多様なデータ ソースの異質な性質により、固有の課題が生じます。
このペーパーでは、これらの課題に対処するための包括的なソリューションとして \textbf{AgentOhana} を紹介します。
\textit{AgentOhana} は、さまざまなシナリオにわたる、さまざまな環境からのエージェントの軌跡を集約します。
これらの軌跡を細心の注意を払って標準化して一貫した形式に統合し、エージェントのトレーニングに最適化された汎用データ ローダーの作成を効率化します。
データの統合を活用することで、トレーニング パイプラインはさまざまなデータ ソース間で平衡を維持し、データセットの分割とモデルのトレーニング中にデバイス間で独立したランダム性を維持します。
さらに、AI エージェント向けに調整された大規模なアクション モデルである \textbf{xLAM-v0.1} を紹介します。これは、さまざまなベンチマークにわたって優れたパフォーマンスを示します。

要約(オリジナル)

Autonomous agents powered by large language models (LLMs) have garnered significant research attention. However, fully harnessing the potential of LLMs for agent-based tasks presents inherent challenges due to the heterogeneous nature of diverse data sources featuring multi-turn trajectories. In this paper, we introduce \textbf{AgentOhana} as a comprehensive solution to address these challenges. \textit{AgentOhana} aggregates agent trajectories from distinct environments, spanning a wide array of scenarios. It meticulously standardizes and unifies these trajectories into a consistent format, streamlining the creation of a generic data loader optimized for agent training. Leveraging the data unification, our training pipeline maintains equilibrium across different data sources and preserves independent randomness across devices during dataset partitioning and model training. Additionally, we present \textbf{xLAM-v0.1}, a large action model tailored for AI agents, which demonstrates exceptional performance across various benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google