A Survey on Self-Evolution of Large Language Models

要約

大規模言語モデル (LLM) は、さまざまな分野およびインテリジェント エージェント アプリケーションで大幅に進歩しました。
ただし、人間または外部モデルの監視から学習する現在の LLM はコストが高く、タスクの複雑さと多様性が増すにつれてパフォーマンスの上限に直面する可能性があります。
この問題に対処するために、LLM がモデル自体によって生成されたエクスペリエンスを自律的に取得、改良、学習できるようにする自己進化アプローチが急速に成長しています。
人間の経験的な学習プロセスに触発されたこの新しいトレーニング パラダイムは、LLM を超知能に向けて拡張する可能性を提供します。
この研究では、LLM における自己進化アプローチの包括的な調査を紹介します。
まず、自己進化のための概念的な枠組みを提案し、経験の獲得、経験の洗練、更新、評価の 4 つのフェーズで構成される反復サイクルとして進化のプロセスを概説します。
次に、LLM と LLM ベースのエージェントの進化の目的を分類します。
次に、文献を要約し、各モジュールの分類と洞察を提供します。
最後に、既存の課題を正確に特定し、自己進化フレームワークを改善するための将来の方向性を提案し、自己進化する LLM の開発を迅速に進めるための重要な洞察を研究者に提供します。

要約(オリジナル)

Large language models (LLMs) have significantly advanced in various fields and intelligent agent applications. However, current LLMs that learn from human or external model supervision are costly and may face performance ceilings as task complexity and diversity increase. To address this issue, self-evolution approaches that enable LLM to autonomously acquire, refine, and learn from experiences generated by the model itself are rapidly growing. This new training paradigm inspired by the human experiential learning process offers the potential to scale LLMs towards superintelligence. In this work, we present a comprehensive survey of self-evolution approaches in LLMs. We first propose a conceptual framework for self-evolution and outline the evolving process as iterative cycles composed of four phases: experience acquisition, experience refinement, updating, and evaluation. Second, we categorize the evolution objectives of LLMs and LLM-based agents; then, we summarize the literature and provide taxonomy and insights for each module. Lastly, we pinpoint existing challenges and propose future directions to improve self-evolution frameworks, equipping researchers with critical insights to fast-track the development of self-evolving LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google