Agent-FLAN: Designing Data and Methods of Effective Agent Tuning for Large Language Models

要約

オープンソースの大規模言語モデル (LLM) は、さまざまな NLP タスクで大きな成功を収めていますが、エージェントとして動作する場合には API ベースのモデルよりもはるかに劣っています。
エージェントの能力を一般的な LLM にどのように統合するかが、重大かつ緊急の問題になります。
この論文では、まず 3 つの重要な観察結果を紹介します。(1) 現在のエージェント トレーニング コーパスは、次の形式とエージェント推論の両方の形式に絡み合っており、トレーニング前のデータの分布から大幅に変化しています。
(2) LLM は、エージェントのタスクに必要な機能に関して異なる学習速度を示します。
(3) 現在のアプローチでは、幻覚を導入することでエージェントの能力を向上させる際に副作用があります。
上記の調査結果に基づいて、エージェントの LANguage モデルを効果的に微調整するための Agent-FLAN を提案します。
Agent-FLAN は、トレーニング コーパスの慎重な分解と再設計により、Llama2-7B がさまざまなエージェント評価データセット全体で以前の最高の成果を 3.5\% 上回るパフォーマンスを実現できるようにします。
Agent-FLAN は、包括的に構築された陰性サンプルにより、確立された評価ベンチマークに基づいて幻覚の問題を大幅に軽減します。
さらに、LLM の一般的な機能をわずかに向上させながら、モデル サイズをスケーリングする際の LLM のエージェント機能を一貫して向上させます。
コードは https://github.com/InternLM/Agent-FLAN で入手できます。

要約(オリジナル)

Open-sourced Large Language Models (LLMs) have achieved great success in various NLP tasks, however, they are still far inferior to API-based models when acting as agents. How to integrate agent ability into general LLMs becomes a crucial and urgent problem. This paper first delivers three key observations: (1) the current agent training corpus is entangled with both formats following and agent reasoning, which significantly shifts from the distribution of its pre-training data; (2) LLMs exhibit different learning speeds on the capabilities required by agent tasks; and (3) current approaches have side-effects when improving agent abilities by introducing hallucinations. Based on the above findings, we propose Agent-FLAN to effectively Fine-tune LANguage models for Agents. Through careful decomposition and redesign of the training corpus, Agent-FLAN enables Llama2-7B to outperform prior best works by 3.5\% across various agent evaluation datasets. With comprehensively constructed negative samples, Agent-FLAN greatly alleviates the hallucination issues based on our established evaluation benchmark. Besides, it consistently improves the agent capability of LLMs when scaling model sizes while slightly enhancing the general capability of LLMs. The code will be available at https://github.com/InternLM/Agent-FLAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google